GPU pour fine-tuning : LoRA, QLoRA et entraînement complet dès 0,59 € de l’heure
Le bon GPU pour un fine-tuning dépend de la méthode : un QLoRA d’un modèle 8B tient sur une carte de 16 à 24 Go, un 32B demande 32 à 48 Go et un 70B une carte de 80 Go. Un LoRA avec une base 16 bits demande environ deux fois plus, et le fine-tuning complet d’un modèle 8B occupe déjà une carte de 80 Go entière. Sur VRAMfarm, les cartes d’entraînement commencent à 0,59 € de l’heure, facturées à la minute, et le résultat peut être enregistré pour la session suivante.
Plus gros modèle par méthode sur une seule carte
| GPU | Mémoire | QLoRA, jusqu’à | LoRA 16 bits, jusqu’à | Fine-tuning complet, jusqu’à | Prix |
|---|---|---|---|---|---|
| RTX 4090 | 24 Go | 8B | 8B | — | 0,59 €/h |
| RTX 5090 | 32 Go | 32B | 8B | — | 0,76 €/h |
| RTX A6000 | 48 Go | 32B | 8B | — | 0,72 €/h |
| L40S | 48 Go | 32B | 8B | — | 1,06 €/h |
| RTX PRO 6000 | 96 Go | 70B | 32B | 8B | 2,12 €/h |
| A100 | 80 Go | 70B | 32B | 8B | 1,46 €/h |
| H100 | 80 Go | 70B | 32B | 8B | 3,90 €/h |
| H200 | 141 Go | 70B | 32B | 8B | 5,43 €/h |
| B200 | 192 Go | 70B | 70B | 8B | 16,12 €/h |
Plus grande taille de modèle courante par méthode sur une seule carte, avec des longueurs de séquence typiques. Le fine-tuning complet suppose un optimiseur 8 bits. Plus de données, des séquences plus longues ou des batchs plus grands demandent plus de mémoire. Prix pour une carte et par heure ; ils suivent le marché et sont figés au lancement. Facturation à la minute, minimum 15 minutes.
Ce que l’on entraîne
Un LLM sur vos données
QLoRA avec Unsloth, Axolotl ou TRL apprend à un modèle votre style, votre format ou votre domaine. Quelques milliers de bons exemples suffisent généralement pour un modèle 8B.
LoRA d’images
Un LoRA Flux ou SDXL à partir de 20 à 30 photos d’une personne, d’un produit ou d’un style prend 30 à 90 minutes sur une carte de 24 Go.
Parole et voix
Affinez Whisper sur votre accent ou votre terminologie, ou un modèle TTS sur une voix dont vous détenez les droits.
Entraînement complet et recherche
Fine-tuning complet et expériences de pré-entraînement sur des cartes de 80 à 192 Go, ou sur 2 à 8 cartes dans une même machine avec DeepSpeed ou FSDP.
La mémoire selon la méthode
QLoRA garde le modèle de base en 4 bits et entraîne de petits adaptateurs : environ 1 Go par milliard de paramètres, plus les activations. Un LoRA avec une base 16 bits demande environ 2 à 3 Go par milliard. Le fine-tuning complet avec AdamW demande environ 16 octets par paramètre pour les poids, les gradients et l’état de l’optimiseur : même un 8B tourne autour de 130 Go ; un optimiseur 8 bits le ramène à une seule carte de 80 Go.
Vitesse ou prix
Une H100 entraîne plusieurs fois plus vite qu’une RTX 4090 et coûte plusieurs fois plus cher à l’heure : la facture pour un même travail est donc souvent proche. Utilisez des cartes de 24 à 48 Go, moins chères, pour les petits essais et le débogage, puis passez le run final sur une H100 ou une H200 quand le temps compte.
Ne perdez pas le résultat
Enregistrez les checkpoints dans /workspace et choisissez « Enregistrer et arrêter » : le dossier passe sur votre prochain serveur, même sur une autre carte, pour 0,03 € par Go et par mois. Sans enregistrement, le disque est effacé à l’arrêt du serveur.
Ce que coûte un fine-tuning
Un QLoRA d’un modèle 8B sur 15 millions de tokens d’entraînement avec Unsloth sur une RTX 4090 prend environ 2 heures 50 : à peu près 1,65 €. Un QLoRA d’un modèle 70B sur une H100 pendant 6 heures : environ 23,40 €. La durée réelle dépend de la longueur des séquences, de la taille des batchs et du nombre d’epochs.
Guides sur le sujet
12 novembre 2026 Fine-tuner un LLM : combien de VRAM et de GPU pour QLoRA, LoRA et le fine-tuning complet
QLoRA fait tenir un 8B sur 16 Go et un 70B sur une carte de 80 Go ; le fine-tuning complet coûte environ 16 octets par paramètre. Mémoire, cartes, outils, durée, coût.
12 novembre 2026 Entraîner un LoRA Flux sur vos propres photos : 20 images, 24 Go et environ deux heures
Combien de photos, quelles légendes, ai-toolkit ou FluxGym, 24 ou 16 Go, 2 000 pas en 1 à 2,5 h sur une RTX 4090, et ce que deviennent vos photos ensuite.
12 novembre 2026 Entraînement multi-GPU : DDP, FSDP et ZeRO sur une machine louée de 2 à 8 GPU
Quand une carte ne suffit plus : parallélisme de données ou de modèle, mémoire par GPU avec FSDP et ZeRO, NVLink ou PCIe, location de 2 à 8 cartes et blocages NCCL.
Questions fréquentes
Quel GPU faut-il pour le fine-tuning de Llama 8B ?
QLoRA fonctionne sur une carte de 16 à 24 Go ; la RTX 4090 est un bon choix. Un LoRA avec une base 16 bits demande 24 à 32 Go. Le fine-tuning complet demande une carte de 80 Go avec un optimiseur 8 bits, ou plusieurs cartes.
Peut-on faire le fine-tuning d’un modèle 70B sur un seul GPU ?
Avec QLoRA, oui : 45 à 60 Go, donc une carte de 80 Go (A100, H100), ou 48 Go avec Unsloth et des séquences courtes. Un LoRA avec une base 16 bits ou un fine-tuning complet d’un 70B demande plusieurs cartes de 80 Go.
Puis-je entraîner sur plusieurs GPU à la fois ?
Oui. Choisissez une machine avec 2, 4 ou 8 cartes identiques dans la liste des serveurs et utilisez DeepSpeed, FSDP ou Accelerate. Toutes les cartes sont dans la même machine : pas besoin de réseau entre serveurs.
Et si l’entraînement tourne la nuit et que le serveur reste inactif une fois terminé ?
Nous comptons la charge GPU comme une utilisation. Environ 2 heures après la fin du travail, nous vous envoyons un e-mail, et une heure plus tard le serveur enregistre votre dossier et s’arrête : vous ne payez pas toute la nuit.
Lancez un entraînement
Rechargez à partir de 10 €, choisissez une carte avec assez de mémoire et connectez-vous en SSH ou via Jupyter.