11. November 2026 · VRAMfarm-Team

Wie viel VRAM brauche ich? Tabelle für LLMs, Flux, Wan-2.2-Video und Training

Ein Chatmodell mit 7–8B passt in 4 Bit auf eine 12-GB-Karte, ein 32B-Modell braucht 24 GB, und Llama 3.3 70B belegt allein mit seinen Gewichten rund 43 GB, realistisch sind also mindestens 48 GB. Bildmodelle liegen zwischen 10 GB (SDXL) und 24 GB (Qwen-Image in fp8), Wan-2.2-Video braucht 22–48 GB. Auf denselben Schätzungen beruht die VRAM-Auswahl auf der Startseite, und mit der Formel dahinter können Sie jedes Modell selbst nachrechnen.

Die Formel: Gewichte, KV-Cache und Overhead

Während ein Modell läuft, liegen drei Dinge im Grafikspeicher:

VRAM ≈ Parameter × Bytes pro Parameter + KV-Cache (oder Aktivierungen) + 1–2 GB Overhead

Der erste Teil sind die Gewichte. Eine Milliarde Parameter zu je 2 Bytes ergibt 2 GB, ein 8B-Modell in fp16 braucht also rund 16 GB, bevor es auch nur ein Wort verarbeitet hat. Wie viele Bytes ein Parameter belegt, hängt von der Präzision ab:

Der zweite Teil hängt davon ab, was das Modell tut. Bei einem Sprachmodell ist es der KV-Cache: Das Modell speichert Keys und Values für jedes Token der Unterhaltung, und dieser Speicher wächst mit der Kontextlänge. Bei Bild- und Videomodellen sind es die Aktivierungen: Zwischentensoren, die mit Auflösung, Anzahl der Frames und Batch-Größe wachsen.

Der dritte Teil sind CUDA-Kontext, Puffer des Frameworks und Speicherfragmentierung. Planen Sie 1–2 GB ein, bei vLLM mehr, denn es reserviert standardmäßig gleich zu Beginn 90 % der Karte.

Mit Quantisierung bringen die meisten größere Modelle auf kleinere Karten. fp8 halbiert die Gewichte praktisch ohne sichtbaren Unterschied und ist in ComfyUI der Standard für Flux, Qwen-Image und Wan. 4 Bit halbiert sie noch einmal. Für Chat und Zusammenfassungen liefert ein 32B-Modell in 4 Bit (rund 20 GB) meist bessere Antworten als ein 8B-Modell in fp16, das fast genauso viel Speicher belegt. Bei Code und Mathematik fällt der Verlust in kleinen Modellen eher auf. Unter 4 Bit sinkt die Qualität schnell.

Ein Detail zur Hardware: fp8 wird ab der Ada-Generation nativ berechnet (RTX-40- und RTX-50-Serie, L40S, H100, B200). Ampere-Karten (RTX 3090, RTX A6000, A100) können fp8-Gewichte laden, rechnen aber in fp16. Sie sparen also Speicher, gewinnen aber keine Geschwindigkeit.

Sprachmodelle: von 8B bis 235B

Die Werte sind Näherungen: Gewichte plus Arbeitspuffer bei kurzem Kontext. Langer Kontext kommt hinzu, siehe den Abschnitt zum KV-Cache weiter unten. Die Spalte „4 Bit“ entspricht dem, was unsere Auswahl anzeigt, denn so betreiben die meisten diese Modelle auf einer Karte.

Ein paar Hinweise zum Lesen:

• 24 GB reichen für ein 32B-Modell, mit kurzem Kontext. Ein 32B-Modell in 4 Bit lässt auf einer 24-GB-Karte 2–3 GB für den KV-Cache, genug für etwa 8.000–10.000 Tokens. Die RTX 5090 mit 32 GB gibt demselben Modell Platz für rund 30.000–40.000, je nach Quantisierung und den eigenen Puffern der Laufzeitumgebung.
• 70B auf einer Karte heißt 48 GB oder mehr. Auf 48 GB läuft ein 70B-Modell in 4 Bit mit 8.000–12.000 Tokens Kontext, mit einem 8-Bit-Cache etwa doppelt so viel. Für lange Dokumente, mehrere Nutzer gleichzeitig oder den Betrieb mit vLLM nehmen Sie eine A100 oder H100 mit 80 GB.
• Die H200 mit 141 GB scheint für ein 136-GB-Modell zu passen, ist aber zu knapp. Nach dem CUDA-Kontext bleibt kaum etwas für den Cache. Nehmen Sie eine B200 oder zwei Karten mit 80 GB.
• MoE-Modelle brauchen alle Experten im Speicher. Qwen3 235B-A22B aktiviert pro Token 22B Parameter und erzeugt Text deshalb etwa so schnell wie ein dichtes Modell mit 22–30B, braucht aber den Speicher eines 235B-Modells.

Die Geschwindigkeit ist eine eigene Frage. Für jedes erzeugte Token wird das ganze Modell aus dem Speicher gelesen. Eine grobe Obergrenze für Tokens pro Sekunde ist deshalb die Speicherbandbreite geteilt durch die Modellgröße. Eine RTX 4090 (1.008 GB/s) kommt mit einem 20-GB-Modell auf höchstens etwa 50 Tokens pro Sekunde, in der Praxis etwas weniger. Deshalb wirkt eine H100 mit 3.350 GB/s mit demselben Modell so viel schneller.

Bild- und Videomodelle

Bild- und Videomodelle laufen in ComfyUI meist in fp8, und ComfyUI schiebt Text-Encoder und VAE je nach Bedarf in den VRAM und wieder heraus. „Mindestens“ heißt hier: läuft bei 1024 × 1024 (oder 720p-Video) ohne Fehler. Die empfohlene Karte lässt Luft für LoRAs, ControlNet und höhere Auflösungen. Verstehen Sie die Werte als Schätzung für einen typischen Workflow: Auflösung, Anzahl der Frames und die Offloading-Einstellungen von ComfyUI können sie um mehrere Gigabyte in beide Richtungen verschieben.

Bei Video liegen „passt“ und „passt bequem“ am weitesten auseinander. Jede zusätzliche Sekunde bringt mehr Frames, und jeder Frame bringt mehr Aktivierungen. Wan 2.2 14B in fp8 braucht für einen 5-Sekunden-Clip in 720p etwa 30 GB: Eine RTX 5090 mit 32 GB schafft das, aber längere Clips oder höhere Auflösung zwingen Sie auf 48 GB. Deshalb verlangt unsere fertige App für Wan 2.2 14B eine 48-GB-Karte, die 5B-App eine mit 24 GB.

Es gibt GGUF-Quantisierungen (Q4, Q5) von Flux und Qwen-Image, mit denen diese Modelle auf Karten mit 8–12 GB laufen, auf Kosten langsamerer Schritte und einiger Details. Für ein paar Bilder ist das in Ordnung; bei echter Arbeit macht sich der zusätzliche Speicher in gesparter Zeit bezahlt. Der GPU-Ratgeber für Flux, SDXL und ComfyUI geht Karte für Karte durch.

Sprache und Training

Modelle für Spracherkennung und Sprachausgabe sind klein. Training braucht dagegen viel mehr Speicher als der Betrieb desselben Modells, weil Gradienten und Optimizer-Zustände neben den Gewichten liegen.

Die Zeile zum vollen Fine-Tuning braucht eine Erklärung. Mit dem üblichen AdamW-Optimizer in Mixed Precision kostet jeder Parameter rund 16 Bytes: bf16-Gewichte (2), Gradienten (2), eine fp32-Masterkopie (4) und zwei Optimizer-Zustände (8). Bei 8B Parametern sind das etwa 128 GB vor den Aktivierungen, also zwei oder mehr Karten mit 80 GB, eine H200 oder eine B200. Ein 8-Bit-Optimizer und Gradient Checkpointing drücken das auf etwa 70 GB, je nach Sequenzlänge und Trainer, und das passt auf eine einzelne A100 oder H100. QLoRA umgeht fast alles davon: Das Basismodell bleibt eingefroren in 4 Bit, trainiert werden nur kleine Adapter-Matrizen.

Warum ein Modell, das passt, bei langem Kontext trotzdem abstürzt

Das ist die häufigste Überraschung: Das Modell lädt, beantwortet die ersten Fragen und bricht dann mit „CUDA out of memory“ ab, sobald Sie ein langes Dokument einfügen. Die Gewichte haben gepasst. Der KV-Cache nicht.

Der Cache pro Token beträgt 2 × Schichten × KV-Heads × Head-Größe × Bytes. In fp16 ergibt das:

Ein 70B-Modell in 4 Bit läuft auf einer 48-GB-Karte bei 8.000 Tokens also problemlos und stößt irgendwo bei 10.000–12.000 an die Grenze. Beim beworbenen Kontext von 128.000 Tokens ist allein der Cache so groß wie die Gewichte. Bedienen Sie mehrere Nutzer, vervielfacht sich der Cache mit der Zahl der parallelen Unterhaltungen.

So lösen Sie das ohne größere Karte:

• Kontext begrenzen. In vLLM setzen Sie --max-model-len 16384. vLLM startet gar nicht erst, wenn der gewünschte Kontext nicht passt, und das ist besser als ein späterer Absturz. In Ollama entscheidet die Kontextlänge (num_ctx) über den Speicher; setzen Sie sie also bewusst, statt sich auf den Standardwert zu verlassen, der sich zwischen Versionen geändert hat.
• Cache quantisieren. --kv-cache-dtype fp8 in vLLM oder -ctk q8_0 -ctv q8_0 in llama.cpp (mit eingeschalteter Flash Attention) halbiert den Cache, ohne die Antworten nennenswert zu verändern.
• Parallele Anfragen begrenzen, wenn Sie eine API betreiben: weniger gleichzeitige Unterhaltungen, weniger Cache.

Wenn Sie den langen Kontext jeden Tag brauchen, ist die nächstgrößere Karte meist die günstigere Lösung: eine 80-GB-Karte für 70B oder eine RTX 5090 mit 32 GB statt 24 GB für 32B.

Die Karte nach der Zahl wählen

Nehmen Sie den Wert aus den Tabellen, rechnen Sie 10–20 % Reserve dazu und wählen Sie die kleinste Karte darüber. Karten gibt es in festen Stufen: 10–12 GB, 16 GB, 24 GB, 32 GB, 48 GB, 80 GB, 96 GB, 141 GB und 192 GB. Innerhalb einer Stufe geht es um Geschwindigkeit, nicht darum, was überhaupt läuft: Eine RTX 3090 und eine RTX 4090 haben beide 24 GB. Die 4090 erzeugt Bilder etwa 1,6- bis 2,5-mal so schnell, LLM-Text aber nur etwas schneller, weil die Speicherbandbreite ähnlich ist (936 gegenüber 1.008 GB/s). Vergleichen Sie die Stundenpreise, ab 0,30 € und ab 0,59 €, auf der Preisseite.

Wenn Sie unsicher sind, nehmen Sie eine Stufe größer, als Sie denken. Abgerechnet wird minutengenau: Eine zu große Karte kostet Sie für den Test ein paar Cent, eine zu kleine einen Abend voller Out-of-Memory-Fehler.