GPU mieten für LLMs: Ihr eigenes Modell ab 0,30 € pro Stunde
Wenn Sie eine GPU für LLMs mieten, gilt als Faustregel: Eine 24-GB-Karte (RTX 3090 oder 4090) betreibt Modelle bis etwa 32B Parameter in 4 Bit, eine 48-GB-Karte schafft 70B in 4 Bit bei normalem Kontext, und 80-GB-Karten (A100, H100) nehmen 70B mit langem Kontext oder vielen Nutzern. Bei VRAMfarm geht das ab 0,30 € pro Stunde los, minutengenau abgerechnet, und mit vLLM haben Sie in wenigen Minuten eine OpenAI-kompatible API.
Welches Modell passt und wie schnell es antwortet
| GPU | Speicher | Größtes Modell, 4 Bit | 8B, Token/s | 32B, Token/s | 70B, Token/s | Preis |
|---|---|---|---|---|---|---|
| RTX 3090 | 24 GB | 36B | ~117 | ~29 | — | 0,30 €/Std. |
| RTX 4090 | 24 GB | 36B | ~126 | ~32 | — | 0,59 €/Std. |
| RTX 5090 | 32 GB | 48B | ~224 | ~56 | — | 0,76 €/Std. |
| RTX A6000 | 48 GB | 72B | ~96 | ~24 | ~11 | 0,72 €/Std. |
| L40S | 48 GB | 72B | ~108 | ~27 | ~12 | 1,06 €/Std. |
| RTX PRO 6000 | 96 GB | 145B | ~224 | ~56 | ~26 | 2,12 €/Std. |
| A100 | 80 GB | 121B | ~255 | ~64 | ~29 | 1,46 €/Std. |
| H100 | 80 GB | 121B | ~419 | ~105 | ~48 | 3,90 €/Std. |
| H200 | 141 GB | 213B | ~600 | ~150 | ~69 | 5,43 €/Std. |
| B200 | 192 GB | 290B | ~1.000 | ~250 | ~114 | 16,12 €/Std. |
Token pro Sekunde für eine einzelne Anfrage mit einem 4-Bit-Modell: Speicherbandbreite ÷ Größe der Gewichte, mal 0,6 für reale Verluste. „—“: Das Modell passt mit Platz für den Kontext nicht auf eine Karte. Mit parallelen Anfragen in vLLM ist der Gesamtdurchsatz um ein Mehrfaches höher. Die Preise gelten für eine Karte pro Stunde und ändern sich mit dem Markt; beim Start wird der Preis festgeschrieben. Abgerechnet wird minutengenau, mindestens 15 Minuten.
Wofür LLMs genutzt werden
Eine API für Ihr Produkt
vLLM stellt einen OpenAI-kompatiblen Endpunkt bereit: Sie ändern die Base-URL im Code, der Rest bleibt. Continuous Batching verarbeitet Dutzende Anfragen gleichzeitig auf einer Karte.
Ein privates ChatGPT fürs Team
Unser fertiger Chat betreibt Qwen3 oder MiMo in Ihrem Browser. Prompts und Dateien bleiben auf Ihrem Server und gehen nie an die API eines Drittanbieters.
Batch-Jobs
Eine Million Texte über Nacht taggen, zusammenfassen oder übersetzen. Starten Sie die Karte, wenn sich die Warteschlange füllt, stoppen Sie sie, wenn sie leer ist, und zahlen Sie nur diese Stunden.
Große und neue Modelle
Erscheint ein neues offenes Modell, können Sie es noch am selben Tag auf 80–192 GB ausprobieren, ohne Hardware zu kaufen: 70B mit langem Kontext, Mixture-of-Experts-Modelle, mehrere Karten mit Tensor Parallelism.
Wie viel Speicher ein Modell braucht
Die Gewichte belegen etwa 2 GB pro Milliarde Parameter in FP16, 1 GB in 8 Bit und 0,6 GB in 4 Bit (AWQ, GPTQ, GGUF Q4). Dazu kommt Platz für den KV-Cache, der mit der Kontextlänge und der Zahl paralleler Anfragen wächst, plus 10–15 % für Puffer. Ein 8B-Modell in 4 Bit braucht also etwa 6 GB, 32B etwa 22 GB und 70B etwa 43 GB, noch ohne Kontext. Der VRAM-Rechner rechnet das für Ihr Modell aus.
Tempo: Auf die Speicherbandbreite kommt es an
Wenn eine Person chattet, liest jedes Token das gesamte Modell aus dem Speicher, deshalb richtet sich das Tempo eher nach der Speicherbandbreite als nach der Rechenleistung. Darum generieren RTX 3090 und 4090 mit demselben Modell ähnlich schnell, während eine H100 mit HBM3 etwa dreimal so schnell ist. Unter Last ändert sich das: vLLM bündelt Anfragen, und die Rechenleistung fällt stärker ins Gewicht.
vLLM, Ollama oder llama.cpp
vLLM ist dafür gebaut, viele Nutzer über eine API zu bedienen. Ollama und llama.cpp sind für eine Person einfacher und führen GGUF-Dateien aus, auch auf Karten mit weniger Speicher. Alle drei können Sie auf einem frischen Server nutzen; für Ollama und vLLM gibt es eigene Setup-Seiten.
Was ein Monat eigene API kostet
Eine Qwen3-32B-API auf einer RTX 4090, 8 Arbeitsstunden am Tag, 22 Tage im Monat: 176 Stunden, etwa 103,84 €. Rund um die Uhr sind es etwa 424,80 € im Monat. Vergleichen Sie das mit Ihrer monatlichen API-Rechnung bei Ihrem Token-Volumen: Bei einigen hundert Anfragen am Tag ist eine bezahlte API meist günstiger; bei gleichmäßiger Last gewinnt oft das eigene Modell.
Anleitungen zum Thema
12. November 2026 Llama 70B auf einer GPU: 4 Bit oder FP8, 48 GB oder 80 GB und echte Geschwindigkeiten
Llama 3.3 70B in 4 Bit belegt 40–43 GB: eine 48-GB-Karte bei 8.000–16.000 Tokens Kontext, 80 GB für lange Dokumente oder mehrere Nutzer. Formate, Befehle, Tokens/s.
12. November 2026 vLLM, Ollama oder llama.cpp: womit Sie Ihr LLM betreiben, mit den Befehlen
Ollama für eine Person in fünf Minuten, llama.cpp für volle Kontrolle, vLLM für eine API mit vielen Nutzern: Tempo, Formate, Speicherverhalten und Startbefehle.
12. November 2026 Eigenes LLM oder API: Wann eine gemietete GPU günstiger ist als Bezahlung pro Token
Vier Monatsszenarien in Euro: ein Nutzer, ein Team von zehn, ein Produkt-Bot rund um die Uhr und ein Batch-Job mit 440 Mio. Tokens. Wo die API gewinnt, wo die eigene GPU.
Häufige Fragen
Welche GPU brauche ich für Llama 3.3 70B?
In 4 Bit belegen die Gewichte etwa 43 GB, eine 48-GB-Karte (RTX A6000, L40S) reicht also bei normalem Kontext. Für langen Kontext oder viele parallele Nutzer nehmen Sie eine 80-GB-Karte (A100, H100) oder die RTX PRO 6000 mit 96 GB. In FP16 braucht das Modell etwa 140 GB: Eine H200 mit 141 GB ist knapp, mit einer B200 oder zwei 80-GB-Karten haben Sie genug Luft.
Kann ich ein Modell auf mehrere GPUs aufteilen?
Ja. vLLM und llama.cpp verteilen ein Modell per Tensor- oder Pipeline-Parallelism auf mehrere Karten. Wählen Sie in der Serverliste eine Maschine mit 2, 4 oder 8 gleichen Karten.
Ist das günstiger als die API von OpenAI oder Anthropic?
Das hängt vom Volumen ab. Eine gemietete Karte kostet pro Stunde gleich viel, ob sie zehn oder zehntausend Anfragen beantwortet. Bei gleichmäßiger Last ist Ihr eigenes offenes Modell deshalb meist günstiger, und die Daten bleiben bei Ihnen. Für wenige Anfragen am Tag ist eine bezahlte API günstiger und einfacher.
Wie lange dauert der Start?
Der Server ist meist in 2–5 Minuten für SSH und Jupyter bereit. Danach werden die Modellgewichte heruntergeladen, wie lange das dauert, hängt von der Größe ab: Ein 32B-Modell in 4 Bit hat etwa 20 GB.
Starten Sie Ihr Modell noch heute
Laden Sie ab 10 € auf, wählen Sie eine Karte und starten Sie vLLM, Ollama oder den fertigen Chat.