GPUs mit 96 GB VRAM und mehr
Karten mit mindestens 96 GB Grafikspeicher gibt es bei VRAMfarm ab 2,12 € pro Stunde (RTX PRO 6000). 96 GB fassen ein Sprachmodell mit etwa 145B Parametern in 4 Bit oder 43B in FP16. Für Bilder und Video: jedes offene Bild- oder Videomodell, auch mehrere gleichzeitig im Speicher.
96 GB auf der RTX PRO 6000 Blackwell sind der meiste Speicher auf einer einzelnen Workstation-Karte: 70B mit sehr langem Kontext, große Videomodelle und schwere 3D-Szenen.
Karten mit 96 GB oder mehr, günstigste zuerst
| GPU | Typ | Speicher | TFLOPS FP32 | Standort | Preis pro Stunde | ≈ pro Monat | Aktion |
|---|---|---|---|---|---|---|---|
| RTX PRO 6000 | Workstation | 96 GB | ≈125 | +8 | 2,12 €/Std. | 1.526 € pro Monat | Mieten |
| H200 | Rechenzentrum | 141 GB | ≈67 | +2 | 5,43 €/Std. | 3.910 € pro Monat | Mieten |
| B200 | Rechenzentrum | 192 GB | ≈80 | 16,12 €/Std. | 11.606 € pro Monat | Mieten |
Zum Starten muss Ihr Guthaben eine Stunde Laufzeit der Maschine abdecken. Abgerechnet wird minutengenau nach tatsächlicher Nutzung.
Was auf 96 GB läuft
Sprachmodelle
Bis etwa 145B Parameter in 4 Bit (AWQ, GPTQ, GGUF Q4) oder 43B in FP16, mit Platz für einen normalen Kontext. Langer Kontext und viele parallele Nutzer brauchen mehr. Der VRAM-Rechner rechnet es für Ihr Modell aus.
Bilder und Video
Jedes offene Bild- oder Videomodell, auch mehrere gleichzeitig im Speicher.
Training
QLoRA von 70B, LoRA von 32B mit 16-Bit-Basis, volles Fine-Tuning von 8B mit 8-Bit-Optimizer.
Typische Aufgaben bei dieser Größe
- 70B-Modelle mit langem Kontext
- Volles Fine-Tuning von 7–8B-Modellen
- Inferenz mit großen Batches in vLLM
Häufige Fragen
Welche ist die günstigste GPU mit 96 GB oder mehr?
Die NVIDIA RTX PRO 6000 Blackwell, ab 2,12 € pro Stunde bei VRAMfarm, minutengenau abgerechnet.
Welches LLM kann ich auf 96 GB betreiben?
Etwa 145B Parameter in 4 Bit oder 43B in FP16, mit Platz für einen normalen Kontext. Zum Beispiel: Qwen3 14B, Qwen3 32B, Llama 3.3 70B.
Kann ich den Speicher mehrerer GPUs kombinieren?
Bei Sprachmodellen ja: vLLM und llama.cpp teilen ein Modell auf mehrere Karten auf, 2 × 24 GB können also betreiben, was etwa 40 GB braucht. Bei Bild- und Videomodellen addiert sich der Speicher nicht, eine Karte muss das ganze Modell fassen.
Woran erkenne ich, ob 96 GB reichen?
Rechnen Sie die Gewichte (2 GB pro Milliarde Parameter in FP16, 0,6 GB in 4 Bit), den Kontext-Cache und 10–15 % für Puffer zusammen, oder nutzen Sie unseren VRAM-Rechner. Passt das Modell nicht, bricht es entweder mit „CUDA out of memory“ ab oder läuft mit Offloading deutlich langsamer.
96 GB VRAM mieten
Laden Sie ab 10 € auf, wählen Sie eine Karte aus der Liste und starten Sie in wenigen Minuten.