ab 24 GBChat
Private ChatGPT · Qwen3 32B
Ein Chat im Browser für Texte, Code und Dokumente. Ohne Abo und ohne Nachrichtenlimit.
ab 0,30 €/Std. · RTX 3090, 24 GB
KI-Modelle ausführen · vLLM
vLLM auf einer gemieteten GPU: Ihre eigene LLM-API
Ein 8B-Modell braucht in FP16 etwa 19 GB, also eine 24-GB-Karte. 32B in AWQ belegt etwa 23 GB, 70B in AWQ etwa 50 GB auf einer oder mehreren Karten. vLLM bedient viele Anfragen gleichzeitig und stellt eine OpenAI-kompatible API bereit. Deshalb setzt man es für Chatbots, RAG und Dienste mit echten Nutzern ein.
- App
- vLLM
- GPU
- RTX 3060, 12 GB
- Preis
- ab 0,12 €/Std.
Zum Starten muss Ihr Guthaben eine Stunde Laufzeit der Maschine abdecken. Abgerechnet wird minutengenau nach tatsächlicher Nutzung.
Sie brauchen nur einen Chat? Die fertige App „Private ChatGPT“
ab 6 GBGrafikspeicher
2–5 Minutenbis der Server läuft
Minutengenauvom Guthaben abgerechnet
SSH und JupyterZugang zum Server
Wie viel Speicher Sie brauchen und welche GPU passt
vLLM 8B in FP16 belegt in 4 Bit etwa 6 GB Grafikspeicher, die günstigste passende Karte ist die RTX 3060. Die Preise werden beim Öffnen der Seite aus den verfügbaren Maschinen im Katalog aktualisiert.
| Version | FP16 | 4 Bit | Passende GPUGPU | Preis pro StundePro Std. |
|---|---|---|---|---|
| vLLM 8B in FP16 | 18 GB | 6 GB | RTX 3060 | 0,12 € |
| vLLM 32B in AWQ (4 Bit) | 71 GB | 22 GB | 2× RTX 3060 | 0,24 € |
| vLLM 70B in AWQ (4 Bit) | 154 GB | 47 GB | 4× RTX 4060 Ti | 0,64 € |
Schätzung: FP16 ≈ 2 GB pro Milliarde Parameter, 4 Bit ≈ 0,6 GB, dazu 10 % für den Kontext. Auswahl: die günstigste Konfiguration mit genug Speicher; bei großen Modellen sind das mehrere gleiche Karten. Alle GPUs und Preise
vLLM in 3 Schritten starten
- Registrieren und aufladen. Erstellen Sie ein Konto und laden Sie ab 10 € auf. Zum Starten muss Ihr Guthaben mindestens eine Stunde der gewählten Maschine abdecken, danach zahlen Sie minutengenau.
- GPU wählen. Den Speicherbedarf jeder Version zeigt die Tabelle oben, die kleinste läuft ab 6 GB. Die Schaltfläche auf dieser Seite wählt die günstigste Option mit dem Template vLLM.
- Modell ausführen. Der Server ist in 2–5 Minuten bereit. Öffnen Sie Jupyter im Browser oder verbinden Sie sich per SSH und führen Sie die Befehle unten aus.
Fertig? Stoppen Sie den Server im Dashboard, dann endet die Abrechnung. „Speichern und stoppen“ behält /workspace für 0,03 € pro GB und Monat, auf Ihrem nächsten Server ist der Ordner automatisch wieder da.
Server starten
pip install vllm
vllm serve Qwen/Qwen2.5-7B-Instruct --host 0.0.0.0 --port 8000
# API: http://<address>:8000/v1/chat/completions
Wofür vLLM eingesetzt wird
01
Ein Chatbot unter echter Last
Dutzende Nutzer gleichzeitig: vLLM bündelt ihre Anfragen und hält die Antwortzeiten stabil.
02
RAG und Agenten
Ihr eigener Endpunkt /v1/chat/completions für LangChain, LlamaIndex und jeden Client mit OpenAI SDK.
03
Stapelverarbeitung
Tausende Dokumente labeln, übersetzen und zusammenfassen, in einer einzigen Miete statt mit Abrechnung pro Token.
Tipps vor dem Start
- Die Option --max-model-len begrenzt den Kontext und spart Speicher.
- Für 70B auf zwei Karten verwenden Sie --tensor-parallel-size 2.
Sie brauchen nur einen Chat? Eine fertige App ohne Einrichtung
Wenn Sie das Modell für Gespräche brauchen und keinen Code schreiben möchten, starten Sie „Private ChatGPT“: Der Server kommt mit Ollama, einem Qwen3-Modell und dem Chatfenster Open WebUI im Browser.
Häufige Fragen
Ist vLLM mit dem OpenAI SDK kompatibel?
Ja. Setzen Sie base_url auf Ihren Server, Ihr Client-Code bleibt unverändert.
Wie lange dauert ein Start?
Der Server ist meist in 2–5 Minuten bereit, danach stehen SSH und Jupyter zur Verfügung. Wie lange der Download des Modells dauert, hängt von seiner Größe ab; die Zeit wird als normale Serverzeit abgerechnet.
Was passiert mit meinen Modellen und Ergebnissen nach dem Stoppen?
Klicken Sie beim Stoppen auf „Speichern und stoppen“: Der Ordner /workspace mit Ihren Modellen, LoRAs und Ergebnissen wird für 0,03 € pro GB und Monat gespeichert und ist auf Ihrem nächsten Server automatisch wieder da. Wenn Sie ohne Speichern stoppen, wird die Festplatte gelöscht.
Wie wird abgerechnet?
Minutengenau von Ihrem Guthaben in Euro. Sie laden ab 10 € auf; zum Starten muss Ihr Guthaben mindestens eine Stunde der gewählten Maschine abdecken. Stoppen Sie den Server, endet die Abrechnung.
Ein Server ist meist in 2–5 Minuten bereit
In einer Minute registrieren, ab 10 € aufladen, minutengenau bezahlen. Server stoppen, Abrechnung endet.