12 novembre 2026 · Équipe VRAMfarm

H100, A100 ou RTX 4090 : quand un GPU de data center vaut-il le coup pour l’IA ?

Une RTX 4090 produit une image Flux pour une fraction de ce que coûte la même image sur une H100, mais elle est incapable de charger un modèle 70B. Toute la comparaison tient en deux phrases : la carte grand public l’emporte sur le prix par tâche pour tout ce qui tient dans 24 Go, et les cartes de data center l’emportent quand le modèle, le lot ou l’entraînement demande 80 Go et des liaisons rapides entre les cartes. La 4090 se loue à partir de 0,59 € de l’heure, l’A100 80 Go à partir de 1,46 € et la H100 à partir de 3,90 €.

Ce qui distingue une carte de data center d’une carte grand public

Le chiffre de calcul de la 4090 s’entend avec une accumulation en FP32, celle de l’entraînement ; avec une accumulation en FP16, qu’utilisent certains moteurs d’inférence, il double. Les chiffres de la H100 correspondent à la version SXM ; la carte PCIe offre environ 2 To/s et à peu près un quart de calcul en moins, et la H100 NVL a 94 Go à 3,9 To/s. Le catalogue range les trois sous H100 et affiche le nom exact de chaque machine avant le lancement.

Quatre points distinguent les cartes de data center, et seul le premier compte pour la plupart des gens :

1. La taille de la mémoire. 80 Go accueillent un modèle de langage 70B en 4 bits avec un long contexte, un modèle 32B en fp8, ou le fine-tuning complet d’un modèle de 7 à 8B. Sur 24 Go, rien de tout cela ne tient.
2. La bande passante mémoire. La HBM est deux (A100) à trois (H100) fois plus rapide que la GDDR6X de la 4090. Un modèle de langage génère chaque token en lisant tous ses poids : la H100 génère donc du texte environ trois fois plus vite qu’une 4090 avec le même modèle, si le modèle tient sur les deux.
3. Les liaisons entre les cartes. Les cartes mères SXM relient quatre ou huit cartes par NVLink à 600–900 Go/s. Les cartes grand public échangent leurs données par PCIe à environ 25–32 Go/s, et la 4090 ne prend pas du tout en charge les transferts directs en peer-to-peer. Pour l’entraînement multi-GPU, c’est la différence entre bien passer à l’échelle et à peine ; voir les bases de l’entraînement multi-GPU.
4. Le FP64 et la conception pour le 24 h/24. Les simulations et les codes scientifiques qui demandent la double précision tournent 15 à 50 fois plus vite sur une A100 ou une H100. Les cartes de data center sont aussi conçues pour des mois de charge continue.

Ce qui ne les distingue pas : le logiciel. PyTorch, vLLM et ComfyUI tournent sur les trois avec le même code.

Ce que chaque carte fait le mieux

RTX 4090 : tout ce qui tient dans 24 Go. Flux, SDXL, Qwen-Image, HiDream, Wan 2.2 5B, l’entraînement de LoRA, le chat avec des modèles jusqu’à 32B en 4 bits. Les modèles d’image sont limités par le calcul, et par euro, la 4090 en offre plus que l’une ou l’autre carte de data center. Elle calcule aussi nativement en fp8, ce que l’A100 ne fait pas.

A100 80 Go : les 80 Go les moins chers. C’est l’ancienne génération et elle n’a pas de fp8, mais c’est pour sa mémoire que la plupart des gens la louent : un modèle 70B en 4 bits avec de la place pour de longs documents ou plusieurs utilisateurs, du QLoRA sur un modèle 70B, le fine-tuning complet d’un modèle 8B avec un optimiseur 8 bits, ou un modèle 32B en 16 bits. C’est aussi une bonne carte pour les projets plus anciens figés sur une vieille pile CUDA, car sm_80 est pris en charge par toutes les versions de PyTorch des cinq dernières années.

H100 : la plus rapide par carte. Environ trois fois le calcul BF16 dense de l’A100, le fp8 via le Transformer Engine de NVIDIA et 3,35 To/s de bande passante. Louez-la quand la tâche est grosse et que votre temps compte : servir un modèle 70B à de nombreux utilisateurs, un entraînement qui prendrait des jours sur une A100, ou un entraînement multi-GPU sur une machine SXM où NVLink maintient huit cartes occupées.

Vitesse et coût par tâche

Le tableau reprend les hypothèses de l’article sur le coût par image, par vidéo et par token. Les lignes de l’A100 sont des estimations tirées de ses caractéristiques et de mesures publiées, données sous forme de fourchettes. Les chiffres réels dépendent de la résolution, de la longueur du prompt, de la taille du lot et des versions logicielles.

Trois tendances s’en dégagent :

• Images : la 4090 est de loin la moins chère. La H100 est environ deux fois plus rapide, mais elle coûte plusieurs fois plus cher de l’heure. L’A100 est plus lente qu’une 4090 sur les modèles d’image en fp8, car elle n’a pas de calcul fp8.
• Entraîner un modèle qui tient dans 24 Go : encore la 4090. Sur le papier, l’A100 a plus de calcul tensoriel, mais en pratique elle entraîne les petits modèles à peu près à la vitesse de la 4090 ; la H100 est environ deux fois plus rapide. Aucune des deux ne revient généralement moins cher par LoRA terminé.
• Grands modèles de langage : les cartes de data center. La H100 termine le même million de tokens en à peu près deux fois moins de temps, mais son prix horaire vaut généralement plusieurs fois celui de l’A100 : l’A100 revient donc souvent moins cher par token ; les deux cellules de coût donnent la réponse du jour. La H100 est le meilleur choix quand le lot doit finir plus tôt ou quand vous servez des utilisateurs qui attendent.

Les prix du catalogue sont en direct : refaites le calcul de la dernière colonne avec les prix actuels de la page des tarifs avant une grosse tâche.

La mémoire décide d’abord, la vitesse ensuite

L’ordre de la décision est simple : déterminez ce dont votre modèle a besoin, choisissez la carte la moins chère qui le contient, et seulement ensuite regardez la vitesse.

Entre 24 et 80 Go, il existe des cartes intermédiaires : la RTX 5090 de 32 Go et les cartes de 48 Go comme la RTX A6000 (à partir de 0,72 €) et la L40S (à partir de 1,06 €). Pour un modèle 70B en 4 bits avec un contexte normal, une carte de 48 Go est souvent l’option la moins chère de toutes. Le sélecteur de VRAM donne le chiffre pour un modèle précis.

Plusieurs cartes : quand NVLink commence à compter

Si une carte ne suffit pas, le choix change à nouveau. Deux ou quatre 4090 dans une même machine peuvent accueillir un plus gros modèle de langage réparti sur les cartes, et vLLM ou llama.cpp s’en chargent bien, car l’inférence échange relativement peu de données entre les cartes. L’entraînement, c’est autre chose : l’entraînement data-parallel échange les gradients après chaque étape, et l’entraînement partitionné (FSDP, DeepSpeed ZeRO-3) déplace les poids eux-mêmes. Par PCIe sans peer-to-peer, comme sur la 4090, quatre cartes peuvent ne fournir que la vitesse de deux ou trois. Sur une machine H100 SXM ou A100 SXM, la matrice NVLink permet à huit cartes de s’approcher bien plus de huit fois la vitesse d’une seule.

D’où la règle pour le multi-GPU : des cartes grand public pour l’inférence et les petits entraînements data-parallel, des cartes de data center SXM pour l’entraînement sérieux. Le nom de la machine dans le catalogue vous dit ce que vous obtenez : « SXM » ou « SXM4 » dans le nom signifie que les cartes sont montées sur une carte mère conçue pour NVLink, et après le lancement, nvidia-smi topo -m montre comment elles sont réellement reliées.

Choisir rapidement

• Votre modèle tient dans 24 Go : louez une 4090. C’est la moins chère par image et par LoRA, et elle est assez rapide pour le chat.
• Il demande 32 à 48 Go : regardez la RTX 5090 et les cartes de 48 Go avant de passer à 80 Go.
• Il demande 80 Go et vous pouvez attendre : l’A100 offre le plus de mémoire par euro.
• Il demande 80 Go et la vitesse compte, ou vous avez besoin du fp8 : la H100.
• Il demande plus de 80 Go sur une seule carte : la H200 (141 Go) ou la B200 (192 Go), ou plusieurs cartes.

La facturation se fait à la minute après un minimum de 15 minutes : un test sur la plus grosse carte coûte donc peu. Lancer la même tâche courte sur deux cartes et comparer les minutes est le banc d’essai le plus fiable que vous puissiez obtenir pour votre propre charge de travail. La page H100 montre les machines disponibles en ce moment, à côté de l’A100 et des autres cartes de la même gamme.