Calculateur de VRAM pour LLM
Indiquez la taille du modèle, la précision des poids, la longueur du contexte et la tâche. Le calculateur affiche la mémoire vidéo nécessaire et les GPU les moins chers qui conviennent, avec leur prix à l’heure.
Il vous faut environ
- Poids
- —
- Contexte (KV cache)
- —
- Entraînement (gradients, optimiseur, activations)
- —
- Buffers
- —
Le moins cher qui convient
Une estimation : l’utilisation réelle dépend de l’architecture du modèle (têtes d’attention, GQA), du moteur (par défaut, vLLM réserve la majeure partie de la mémoire libre au cache), de la taille de batch et de la longueur des séquences. Modèles d’image et de vidéo : voir les cartes sur les pages GPU.
Questions fréquentes
Comment calculer la VRAM nécessaire à un LLM ?
Multipliez le nombre de paramètres en milliards par le nombre d’octets par poids : 2 en FP16, 1 en 8 bits, environ 0,6 en 4 bits. Ajoutez le KV cache pour votre contexte et votre nombre de requêtes parallèles, plus 10 à 15 % pour les buffers.
Qu’est-ce que le KV cache ?
La mémoire où le modèle garde le contexte qu’il a déjà traité. Elle grandit avec la longueur du contexte et le nombre de requêtes servies en même temps : les longues conversations et les nombreux utilisateurs demandent donc plus de mémoire que les poids seuls.
Combien de mémoire demande le fine-tuning ?
QLoRA ajoute environ 30 à 50 % aux poids en 4 bits, LoRA avec une base 16 bits environ 20 à 40 % aux poids FP16. Le fine-tuning complet avec AdamW demande environ 16 octets par paramètre, soit à peu près 8 fois les poids FP16, plus les activations.
Est-ce que ça marche pour Stable Diffusion et Flux ?
Non, la formule vaut pour les modèles de langage. Pour les modèles d’image et de vidéo, consultez le tableau des pages Stable Diffusion et vidéo : SDXL demande environ 12 Go, Flux 16 Go, Qwen-Image 24 Go.