VRAM-Rechner für LLMs
Geben Sie Modellgröße, Präzision der Gewichte, Kontextlänge und Aufgabe ein. Der Rechner zeigt, wie viel Grafikspeicher Sie brauchen und welche GPUs am günstigsten passen, mit ihrem Preis pro Stunde.
Sie brauchen etwa
- Gewichte
- —
- Kontext (KV-Cache)
- —
- Training (Gradienten, Optimizer, Aktivierungen)
- —
- Puffer
- —
Günstigste passende Karten
Eine Schätzung: Der tatsächliche Bedarf hängt von der Modellarchitektur (Attention-Heads, GQA), der Engine (vLLM reserviert standardmäßig den größten Teil des freien Speichers für den Cache), der Batchgröße und der Sequenzlänge ab. Für Bild- und Videomodelle siehe die Angaben auf den GPU-Seiten.
Häufige Fragen
Wie berechne ich den VRAM-Bedarf eines LLM?
Multiplizieren Sie die Parameter in Milliarden mit den Bytes pro Gewicht: 2 in FP16, 1 in 8 Bit, etwa 0,6 in 4 Bit. Addieren Sie den KV-Cache für Ihren Kontext und die Zahl paralleler Anfragen sowie 10–15 % für Puffer.
Was ist der KV-Cache?
Speicher, in dem das Modell den bereits verarbeiteten Kontext ablegt. Er wächst mit der Kontextlänge und mit der Zahl gleichzeitig bedienter Anfragen, deshalb brauchen lange Chats und viele Nutzer mehr Speicher als die Gewichte allein.
Wie viel Speicher braucht Fine-Tuning?
QLoRA schlägt etwa 30–50 % auf die 4-Bit-Gewichte auf, LoRA mit 16-Bit-Basis etwa 20–40 % auf die FP16-Gewichte. Volles Fine-Tuning mit AdamW braucht etwa 16 Byte pro Parameter, rund das 8-Fache der FP16-Gewichte, plus Aktivierungen.
Funktioniert der Rechner für Stable Diffusion und Flux?
Nein, die Formel gilt für Sprachmodelle. Für Bild- und Videomodelle siehe die Tabelle auf den Seiten zu Stable Diffusion und Video: SDXL braucht etwa 12 GB, Flux 16 GB, Qwen-Image 24 GB.