ab 24 GBChat
Private ChatGPT · Qwen3 32B
Ein Chat im Browser für Texte, Code und Dokumente. Ohne Abo und ohne Nachrichtenlimit.
ab 0,30 €/Std. · RTX 3090, 24 GB
KI-Modelle ausführen · Llama
Llama 3 auf einer gemieteten GPU betreiben
Llama 3.1 8B läuft auf jeder Karte ab 12 GB. Die 70B-Version braucht in 4 Bit etwa 50 GB: eine Rechenzentrumskarte oder mehrere Consumer-Karten. Llama 3.1 405B ist die Wahl, wenn die Qualität der Antworten am wichtigsten ist. Meta veröffentlicht alle Versionen offen für Assistenten, Chatbots und RAG.
- App
- PyTorch
- GPU
- RTX 3060, 12 GB
- Preis
- ab 0,12 €/Std.
Zum Starten muss Ihr Guthaben eine Stunde Laufzeit der Maschine abdecken. Abgerechnet wird minutengenau nach tatsächlicher Nutzung.
Sie brauchen nur einen Chat? Die fertige App „Private ChatGPT“
ab 2 GBGrafikspeicher
2–5 Minutenbis der Server läuft
Minutengenauvom Guthaben abgerechnet
SSH und JupyterZugang zum Server
Wie viel Speicher Sie brauchen und welche GPU passt
Llama 3.2 3B belegt in 4 Bit etwa 2 GB Grafikspeicher, die günstigste passende Karte ist die RTX 3060. Die Preise werden beim Öffnen der Seite aus den verfügbaren Maschinen im Katalog aktualisiert.
| Version | FP16 | 4 Bit | Passende GPUGPU | Preis pro StundePro Std. |
|---|---|---|---|---|
| Llama 3.2 3B | 7 GB | 2 GB | RTX 3060 | 0,12 € |
| Llama 3.1 8B | 18 GB | 6 GB | RTX 3060 | 0,12 € |
| Llama 3.3 70B | 154 GB | 47 GB | 4× RTX 4060 Ti | 0,64 € |
| Llama 3.1 405B | 892 GB | 268 GB | 8× L40 | 3,68 € |
Schätzung: FP16 ≈ 2 GB pro Milliarde Parameter, 4 Bit ≈ 0,6 GB, dazu 10 % für den Kontext. Auswahl: die günstigste Konfiguration mit genug Speicher; bei großen Modellen sind das mehrere gleiche Karten. Alle GPUs und Preise
Llama in 3 Schritten starten
- Registrieren und aufladen. Erstellen Sie ein Konto und laden Sie ab 10 € auf. Zum Starten muss Ihr Guthaben mindestens eine Stunde der gewählten Maschine abdecken, danach zahlen Sie minutengenau.
- GPU wählen. Den Speicherbedarf jeder Version zeigt die Tabelle oben, die kleinste läuft ab 2 GB. Die Schaltfläche auf dieser Seite wählt die günstigste Option mit dem Template PyTorch.
- Modell ausführen. Der Server ist in 2–5 Minuten bereit. Öffnen Sie Jupyter im Browser oder verbinden Sie sich per SSH und führen Sie die Befehle unten aus.
Fertig? Stoppen Sie den Server im Dashboard, dann endet die Abrechnung. „Speichern und stoppen“ behält /workspace für 0,03 € pro GB und Monat, auf Ihrem nächsten Server ist der Ordner automatisch wieder da.
Mit Ollama (am einfachsten)
curl -fsSL https://ollama.com/install.sh | sh
ollama run llama3.1:8b
Mit vLLM
pip install vllm
vllm serve meta-llama/Llama-3.1-8B-Instruct
Wofür Llama eingesetzt wird
01
Ein Assistent für Ihr Team
Ein Chat, der per RAG interne Dokumente liest. Llama 8B antwortet schnell, 70B ist bei schwierigen Fragen genauer.
02
Feintuning für eine Aufgabe
QLoRA für 8B passt in 16–24 GB: Bringen Sie dem Modell Ihren Tonfall, Ihre Fachbegriffe oder ein Ausgabeformat bei.
03
Texte in großen Mengen verarbeiten
Tickets klassifizieren, Bewertungen zusammenfassen, Datensätze labeln. vLLM bündelt Anfragen und lastet die Karte voll aus.
Tipps vor dem Start
- Für einen Webdienst mit Dutzenden Nutzern nehmen Sie vLLM: Es bündelt Anfragen und holt das Maximum aus der Karte heraus.
- Version 3.3 70B passt in 4 Bit in 48 GB, und eine RTX A6000 ist günstiger als zwei 4090.
- Zum Feintuning des 8B-Modells reicht QLoRA auf 16–24 GB.
Sie brauchen nur einen Chat? Eine fertige App ohne Einrichtung
Wenn Sie das Modell für Gespräche brauchen und keinen Code schreiben möchten, starten Sie „Private ChatGPT“: Der Server kommt mit Ollama, einem Qwen3-Modell und dem Chatfenster Open WebUI im Browser.
ab 12 GBChat
Private ChatGPT · Qwen3 8B
Ein schneller Chat auf einer günstigen Karte: E-Mail-Entwürfe, Übersetzungen, schnelle Antworten.
ab 0,12 €/Std. · RTX 3060, 12 GB
Häufige Fragen
Wie viel Speicher braucht Llama 3.1 8B?
Etwa 19 GB in FP16 und 6 GB in 4 Bit, mit Reserve für den Kontext. Mit einer RTX 3090 oder 4090 sind Sie gut aufgestellt.
Welche GPU passt für die 70B-Version?
In 4 Bit 48 GB: eine RTX A6000, eine L40S oder zwei 24-GB-Karten. In FP16 etwa 160 GB: 2× H100 oder H200.
Brauche ich eine eigene Lizenz?
Die Modelle stehen unter der Lizenz von Meta: Kommerzielle Nutzung ist erlaubt, mit Einschränkungen für sehr große Dienste. Lesen Sie die Bedingungen auf der Modellseite.
Wie lange dauert ein Start?
Der Server ist meist in 2–5 Minuten bereit, danach stehen SSH und Jupyter zur Verfügung. Wie lange der Download des Modells dauert, hängt von seiner Größe ab; die Zeit wird als normale Serverzeit abgerechnet.
Was passiert mit meinen Modellen und Ergebnissen nach dem Stoppen?
Klicken Sie beim Stoppen auf „Speichern und stoppen“: Der Ordner /workspace mit Ihren Modellen, LoRAs und Ergebnissen wird für 0,03 € pro GB und Monat gespeichert und ist auf Ihrem nächsten Server automatisch wieder da. Wenn Sie ohne Speichern stoppen, wird die Festplatte gelöscht.
Wie wird abgerechnet?
Minutengenau von Ihrem Guthaben in Euro. Sie laden ab 10 € auf; zum Starten muss Ihr Guthaben mindestens eine Stunde der gewählten Maschine abdecken. Stoppen Sie den Server, endet die Abrechnung.
Ein Server ist meist in 2–5 Minuten bereit
In einer Minute registrieren, ab 10 € aufladen, minutengenau bezahlen. Server stoppen, Abrechnung endet.