Calculadora de VRAM para LLM
Indica el tamaño del modelo, la precisión de los pesos, la longitud del contexto y la tarea. La calculadora te muestra cuánta memoria de vídeo necesitas y las GPU más baratas en las que cabe, con su precio por hora.
Necesitas unos
- Pesos
- —
- Contexto (caché KV)
- —
- Entrenamiento (gradientes, optimizador, activaciones)
- —
- Búferes
- —
Las más baratas en las que cabe
Es una estimación: el uso real depende de la arquitectura del modelo (cabezas de atención, GQA), del motor (vLLM reserva por defecto la mayor parte de la memoria libre para la caché), del tamaño de lote y de la longitud de secuencia. Para modelos de imagen y vídeo, consulta las tarjetas de las páginas de GPU.
Preguntas frecuentes
¿Cómo se calcula la VRAM para un LLM?
Multiplica los parámetros en miles de millones por los bytes por peso: 2 en FP16, 1 en 8 bits y unos 0,6 en 4 bits. Suma la caché KV para tu contexto y tu número de peticiones en paralelo, y un 10–15 % para búferes.
¿Qué es la caché KV?
La memoria donde el modelo guarda el contexto que ya ha procesado. Crece con la longitud del contexto y con el número de peticiones que atiende a la vez, así que los chats largos y muchos usuarios necesitan más memoria que los pesos solos.
¿Cuánta memoria necesita el fine-tuning?
QLoRA añade más o menos un 30–50 % a los pesos en 4 bits, y LoRA con base de 16 bits, un 20–40 % a los pesos en FP16. El fine-tuning completo con AdamW necesita unos 16 bytes por parámetro, unas 8 veces los pesos en FP16, más las activaciones.
¿Sirve para Stable Diffusion y Flux?
No, la fórmula es para modelos de lenguaje. Para modelos de imagen y vídeo, consulta la tabla de las páginas de Stable Diffusion y de vídeo: SDXL necesita unos 12 GB, Flux 16 GB y Qwen-Image 24 GB.