Calcolatore VRAM per LLM
Inserisci la dimensione del modello, la precisione dei pesi, la lunghezza del contesto e l’uso. Il calcolatore ti mostra quanta memoria video serve e le GPU più economiche in cui il modello entra, con il loro prezzo orario.
Ti servono circa
- Pesi
- —
- Contesto (KV cache)
- —
- Training (gradienti, ottimizzatore, attivazioni)
- —
- Buffer
- —
Le più economiche che bastano
È una stima: l’uso reale dipende dall’architettura del modello (attention head, GQA), dal motore (di default vLLM riserva alla cache gran parte della memoria libera), dalla dimensione del batch e dalla lunghezza delle sequenze. Per i modelli di immagini e video guarda le schede nelle pagine delle GPU.
Domande frequenti
Come si calcola la VRAM per un LLM?
Moltiplica i parametri in miliardi per i byte per peso: 2 in FP16, 1 a 8 bit, circa 0,6 a 4 bit. Aggiungi la KV cache per il tuo contesto e il numero di richieste parallele, più un 10–15% per i buffer.
Che cos’è la KV cache?
È la memoria in cui il modello tiene il contesto che ha già elaborato. Cresce con la lunghezza del contesto e con il numero di richieste servite insieme, quindi chat lunghe e molti utenti richiedono più memoria dei soli pesi.
Quanta memoria serve per il fine-tuning?
Il QLoRA aggiunge circa il 30–50% ai pesi a 4 bit, il LoRA con base a 16 bit circa il 20–40% ai pesi FP16. Il fine-tuning completo con AdamW richiede circa 16 byte per parametro, cioè circa 8 volte i pesi FP16, più le attivazioni.
Funziona anche per Stable Diffusion e Flux?
No, la formula vale per i modelli linguistici. Per i modelli di immagini e video guarda la tabella nelle pagine su Stable Diffusion e sui video: SDXL richiede circa 12 GB, Flux 16 GB, Qwen-Image 24 GB.