12. November 2026 · VRAMfarm-Team
RTX 5090 für KI: Was mit 32 GB GDDR7 läuft und mit 24 GB nicht
Acht Gigabyte klingen nach einem kleinen Schritt, aber auf der RTX 5090 machen sie den Unterschied zwischen „passt mit Tricks“ und „passt“: ein 32B-Sprachmodell mit 30.000–40.000 Tokens Kontext statt 8.000–10.000, Wan-2.2-14B-Video in fp8 bei 720p und Flux in vollem bf16. Außerdem liest die Karte ihren Speicher 78 % schneller als eine RTX 4090 (1.792 gegenüber 1.008 GB/s). Text erzeugt sie deshalb etwa 1,4- bis 1,7-mal so schnell, Bilder etwa 1,3- bis 1,5-mal so schnell. Sie mieten sie ab 0,76 € pro Stunde, die 4090 ab 0,59 €. Der einzige Haken ist die Software: Blackwell braucht CUDA 12.8 oder neuer.
Was sich gegenüber der RTX 4090 geändert hat
| RTX 4090 | RTX 5090 | |
|---|---|---|
| Architektur | Ada Lovelace (2022), sm_89 |
Blackwell (2025), sm_120 |
| VRAM | 24 GB GDDR6X | 32 GB GDDR7 |
| Speicherbus | 384 Bit | 512 Bit |
| Speicherbandbreite | 1.008 GB/s | 1.792 GB/s |
| CUDA-Kerne | 16.384 | 21.760 |
| FP16/BF16-Tensorleistung, dicht | etwa 165 TFLOPS | etwa 210 TFLOPS |
| Formate mit niedriger Präzision | FP8 | FP8, FP4 |
| PCIe | 4.0 | 5.0 |
| Leistungsaufnahme der Karte | 450 W | 575 W |
| Software-Minimum | jedes aktuelle PyTorch | PyTorch 2.7+, CUDA 12.8+, Treiber 570+ |
| Mietpreis | ab 0,59 €/h | ab 0,76 €/h |
Das Muster ist das Gegenteil des Schritts von der RTX 3090 zur 4090 (siehe RTX 3090 gegen RTX 4090). Damals verdoppelte sich die Rechenleistung, während sich die Bandbreite kaum bewegte. Diesmal kommen etwa 27 % Rechenleistung und 78 % Bandbreite hinzu, dazu ein Drittel mehr Speicher. Am meisten gewinnt die 5090 deshalb bei Sprachmodellen, die durch die Bandbreite begrenzt sind, und weniger bei Bildmodellen, die durch die Rechenleistung begrenzt sind.
Modelle, die jetzt passen
Die Werte sind Schätzungen für typische Einstellungen; Kontextlänge, die eigenen Puffer der Laufzeitumgebung und die Offloading-Optionen von ComfyUI verschieben sie um ein paar Gigabyte. Die Formel dahinter steht im VRAM-Ratgeber.
| Modell | Auf 24 GB (RTX 4090, RTX 3090) | Auf 32 GB (RTX 5090) |
|---|---|---|
| Qwen3 32B | 4 Bit (~20 GB) mit etwa 8.000–10.000 Tokens Kontext | 4 Bit mit 30.000–40.000 Tokens Kontext, 5 Bit (~23 GB) mit etwa 15.000–25.000 oder 6 Bit (~27 GB) mit etwa 5.000–10.000 |
| Qwen3 30B-A3B (Mixture of Experts) | 4 Bit (~19 GB), mittlerer Kontext | 6 Bit (~25 GB) oder 4 Bit mit langem Kontext |
| Gemma 3 27B | 4 Bit | 8 Bit (~29 GB), kurzer Kontext |
| Llama 3.3 70B | nein | immer noch nein: 4 Bit braucht etwa 43 GB |
| Flux.1 dev | fp8, oder bf16 mit starkem Offloading | bf16 mit dem Text-Encoder im Arbeitsspeicher, oder fp8 mit gleichzeitig geladenen LoRAs und ControlNet |
| Qwen-Image, Qwen Image Edit, HiDream in fp8 | passt; ComfyUI lädt den Text-Encoder abwechselnd ein und aus | Bildmodell und Text-Encoder können beide geladen bleiben |
| Wan-2.2-5B-Video | 720p, Clips mit 5 Sekunden | 720p mit Platz für längere Clips |
| Wan-2.2-14B-Video in fp8 | nur mit GGUF-Quantisierung oder starkem Offloading | etwa 30 GB bei 720p für 5 Sekunden: passt, knapp |
| Flux-LoRA-Training | 24 GB mit dem Basismodell in 8 Bit | Platz für höhere Auflösung oder größeren Batch |
Im Alltag zählen die Zeilen zu den Sprachmodellen am meisten. Auf einer 24-GB-Karte lässt ein 32B-Modell in 4 Bit 2–3 GB für den KV-Cache übrig, und deshalb enden lange Dokumente mit „CUDA out of memory“. Auf 32 GB hat dasselbe Modell ungefähr viermal so viel Platz. Sie können den zusätzlichen Speicher auch in eine bessere Quantisierung stecken: Ein 32B-Modell in 5 oder 6 Bit liegt etwas näher am Original als die 4-Bit-Version, vor allem bei Code und Mathematik.
Beim Video ist Wan 2.2 14B die eigentliche Nachricht. Ein 5-Sekunden-Clip in 720p braucht in fp8 etwa 30 GB, damit ist die 5090 die kleinste Karte, die ihn ohne Offloading schafft. Längere Clips, höhere Auflösung oder zusätzliche Nodes gehen über 32 GB hinaus. Deshalb verlangt unsere fertige App für Wan 2.2 14B eine 48-GB-Karte. Auf einer 5090 können Sie das Modell trotzdem selbst in einem leeren ComfyUI betreiben und die Clips kurz halten.
Wie viel schneller als eine 4090 und was ein Job kostet
| Job | RTX 4090 | RTX 5090 |
|---|---|---|
| 1.000 Bilder mit Flux.1 dev, fp8, 20 Schritte, 1024×1024 | 4–6 pro Minute: etwa 3 h 20 min, 1,96 € | 6–9 pro Minute: etwa 2 h 23 min, 1,81 € |
| Ein Clip mit Wan 2.2 5B, 1280×704, 5 Sekunden | 4–9 min, gerechnet mit 6: 0,06 € | 3–6 min, gerechnet mit 4: 0,05 € |
| LoRA für Flux.1 dev, 2.000 Schritte | 1–2,5 h, gerechnet mit 1,5: 0,89 € | 0,8–1,6 h, gerechnet mit 1,1: 0,84 € |
| 1 Mio. Ausgabe-Tokens, Qwen3 32B in 4 Bit, ein Nutzer | 30–40 Tokens/s, gerechnet mit 35: 7 h 56 min, 4,68 € | 45–65 Tokens/s, gerechnet mit 55: 5 h 03 min, 3,84 € |
Die Zeiten für Bild und Video setzen eine ComfyUI-Warteschlange voraus, die die Karte durchgehend beschäftigt; die Token-Werte gelten für einen Nutzer in Ollama oder llama.cpp. Sie hängen von Workflow, Sampler, Prompt-Länge und Softwareversion ab. Nützlich sind vor allem die Verhältnisse.
Die 5090 ist pro Job günstiger, solange ihr Stundenpreis unter ihrem Tempovorsprung mal dem Preis der 4090 liegt: unter etwa dem 1,3- bis 1,5-Fachen bei Bildern und Training, unter etwa dem 1,4- bis 1,7-Fachen bei Chat. Vergleichen Sie beide Preise beim Start auf der Preisseite; die Katalogpreise sind live, und der Minutenpreis steht fest, sobald Ihr Server startet. Bei Arbeit, bei der Sie vor dem Bildschirm sitzen, kommt Ihre eigene Zeit hinzu: Ein Flux-Bild alle 7–10 Sekunden statt alle 12 fühlt sich in einer Sitzung spürbar anders an.
CUDA 12.8 oder neuer: der einzige Haken
Blackwell-Karten nutzen eine neue Architektur, sm_120, und ältere Software enthält dafür keinen Code. Damit überhaupt etwas auf einer 5090 läuft, brauchen Sie:
- einen NVIDIA-Treiber ab der 570er-Serie auf der Maschine (580 oder neuer, wenn Sie einen Build für CUDA 13 nutzen);
- einen PyTorch-Build für CUDA 12.8 oder später (
cu128,cu129odercu130); - PyTorch 2.7 oder neuer, die erste stabile Version mit Blackwell-Unterstützung.
Ein falscher Build scheitert mit „no kernel image is available for execution on the device“, oft nach einer Warnung, die Karte „with CUDA capability sm_120 is not compatible with the current PyTorch installation“. Dasselbe passiert mit Erweiterungen, die auf alte Versionen gepinnt sind: xformers, flash-attn, bitsandbytes, eigene Attention-Kernels oder ComfyUI-Nodes, die ein altes torch neu installieren.
So vermeiden Sie das auf einer gemieteten Maschine:
- Prüfen Sie die Maschine vor dem Start. Der Katalog zeigt Treiber und CUDA-Version jeder Maschine, und der Filter „CUDA, ab“ blendet ältere aus. Jede Maschine mit einer 5090 sollte ohnehin einen aktuellen Treiber haben, aber ein Filter auf 12.8 kostet nichts.
- Nutzen Sie einen aktuellen Software-Stack. Unsere fertigen Apps und das leere ComfyUI kommen mit PyTorch für CUDA 12.8. In Ihrer eigenen Umgebung installieren Sie es mit
pip install torch --index-url https://download.pytorch.org/whl/cu128. - Lassen Sie alte Projekte auf älteren Karten. Ein Repository, das auf torch 2.1 und CUDA 11.8 festgelegt ist, läuft auf Blackwell überhaupt nicht. Betreiben Sie es auf einer 4090 oder 3090, oder aktualisieren Sie seine Abhängigkeiten.
Die vollständige Tabelle mit Treibern, Builds und Fehlermeldungen steht im Ratgeber zu CUDA- und Treiberkonflikten.
Wann Sie trotzdem eine 48-GB-Karte brauchen
32 GB schließen viele Lücken, aber nicht alle. Nehmen Sie eine 48-GB-Karte für:
- 70B-Sprachmodelle. In 4 Bit sind allein die Gewichte etwa 43 GB groß. Eine 48-GB-Karte betreibt sie mit 8.000–12.000 Tokens Kontext, eine 80-GB-Karte mit langem Kontext.
- Längeres oder schärferes Video mit Wan 2.2 14B. Mehr als 5 Sekunden bei 720p, 1080p oder das Modell in bf16.
- 32B-Modelle in fp8 (etwa 33 GB) oder 32B mit vLLM für mehrere Nutzer. Jede parallele Unterhaltung braucht ihren eigenen KV-Cache.
- Qwen-Image in bf16 (etwa 41 GB allein für das Bildmodell) oder aufwendige Bild-Workflows mit mehreren LoRAs.
- QLoRA auf 32B-Modellen. Mit kurzen Sequenzen geht es mit 24–32 GB; mit 48 GB wird es bequem.
Die 48-GB-Optionen sind die RTX A6000 ab 0,72 € pro Stunde und die L40S ab 1,06 €; die RTX PRO 6000 ist eine Blackwell-Workstation-Karte mit 96 GB ab 2,12 €. Die 48-GB-Karten haben weniger Bandbreite als eine 5090 (768–864 GB/s) und sind bei allem, was auf beide passt, langsamer. Wählen Sie sie wegen des Speichers, nicht wegen des Tempos.
Für volles Fine-Tuning und 70B-Modelle in fp8 ist der nächste Schritt eine A100 oder H100 mit 80 GB.
Für wen sich die 5090 lohnt
Mieten Sie sie, wenn Sie mit 14B- bis 32B-Modellen chatten oder sie bereitstellen und langen Kontext wollen, wenn Sie Videos mit Wan 2.2 erzeugen oder wenn Sie den ganzen Tag mit Flux, Qwen-Image oder HiDream arbeiten und weniger Modellwechsel wollen. Bleiben Sie bei einer 4090, wenn Ihr Workflow bequem in 24 GB passt und das Preisverhältnis an dem Tag nicht für die 5090 spricht, oder wenn Ihr Projekt an einen alten CUDA-Stack gebunden ist. Bleiben Sie bei einer 3090 für günstige lange Batches, auf die niemand wartet.
Wenn Sie unsicher sind, ist der echte Test der günstigste: Lassen Sie denselben kurzen Job auf einer 4090 und einer 5090 laufen und vergleichen Sie die Minuten. Bei minutengenauer Abrechnung kostet ein Test über 15 Minuten auf der 4090 0,15 € und auf der 5090 0,19 €. Die Seite zur RTX 5090 zeigt die gerade verfügbaren Maschinen mit Land, Treiber und CUDA-Version.