12 novembre 2026 · Team VRAMfarm

H100 vs A100 vs RTX 4090: quando una GPU da data center conviene per l'IA

Una RTX 4090 genera un’immagine con Flux per una frazione di quanto costa la stessa immagine su una H100, eppure un modello da 70B non riesce nemmeno a caricarlo. Il confronto sta tutto in queste due frasi: la scheda consumer vince sul prezzo per lavoro per tutto ciò che sta in 24 GB, e le schede da data center vincono quando il modello, il batch o il training chiedono 80 GB e collegamenti veloci tra le schede. La 4090 si noleggia da 0,59 € all’ora, la A100 da 80 GB da 1,46 € e la H100 da 3,90 €.

Cosa distingue una scheda da data center da una consumer

Il valore di calcolo della 4090 è con accumulo in FP32, quello usato nel training; con accumulo in FP16, che alcuni motori di inferenza usano, raddoppia. I valori della H100 sono per la versione SXM; la scheda PCIe ha circa 2 TB/s e circa un quarto di calcolo in meno, e la H100 NVL ha 94 GB a 3,9 TB/s. Il catalogo le elenca tutte e tre sotto H100 e mostra il nome esatto di ogni macchina prima dell’avvio.

Quattro cose distinguono le schede da data center, e per la maggior parte delle persone conta solo la prima:

1. Quantità di memoria. In 80 GB ci sta un modello linguistico da 70B a 4 bit con un contesto lungo, un modello da 32B in fp8 o il fine-tuning completo di un modello da 7–8B. In 24 GB non ci sta nessuno di questi.
2. Banda di memoria. La HBM è da due (A100) a tre (H100) volte più veloce della GDDR6X della 4090. I modelli linguistici generano ogni token leggendo tutti i loro pesi, quindi la H100 genera testo circa tre volte più in fretta di una 4090 con lo stesso modello, se il modello sta su entrambe.
3. Collegamenti tra schede. Le schede SXM collegano quattro o otto schede via NVLink a 600–900 GB/s. Le schede consumer si scambiano i dati via PCIe a circa 25–32 GB/s, e la 4090 non supporta affatto i trasferimenti diretti peer-to-peer. Nel training multi-GPU è la differenza tra scalare bene e scalare a fatica; vedi le basi del training multi-GPU.
4. FP64 e progettazione per il 24/7. Le simulazioni e i codici scientifici che richiedono la doppia precisione girano da 15 a 50 volte più veloci su una A100 o una H100. Le schede da data center sono anche costruite per mesi di carico continuo.

Cosa non le distingue: il software. PyTorch, vLLM e ComfyUI girano su tutte e tre con lo stesso codice.

In cosa è più forte ogni scheda

RTX 4090: tutto ciò che sta in 24 GB. Flux, SDXL, Qwen-Image, HiDream, Wan 2.2 5B, training di LoRA, chat con modelli fino a 32B a 4 bit. I modelli di immagini sono limitati dalla potenza di calcolo, e per ogni euro la 4090 ne ha più di entrambe le schede da data center. In più calcola l’fp8 in modo nativo, cosa che la A100 non fa.

A100 80 GB: gli 80 GB più economici. È la generazione precedente e non ha l’fp8, ma quasi tutti la noleggiano per la memoria: un modello da 70B a 4 bit con spazio per documenti lunghi o più utenti, QLoRA su un modello da 70B, il fine-tuning completo di un modello da 8B con un ottimizzatore a 8 bit, o un modello da 32B a 16 bit. È anche una buona scheda per i progetti più vecchi legati a uno stack CUDA datato, perché sm_80 è supportato da tutte le release di PyTorch degli ultimi cinque anni.

H100: la più veloce per scheda. Circa tre volte il calcolo BF16 dense della A100, fp8 tramite il Transformer Engine di NVIDIA e 3,35 TB/s di banda. Noleggiala quando il lavoro è grande e il tuo tempo conta: servire un modello da 70B a molti utenti, un training che su una A100 richiederebbe giorni, o un training multi-GPU su una macchina SXM dove NVLink tiene occupate otto schede.

Velocità e costo per lavoro

La tabella usa le stesse ipotesi dell’articolo sul costo per immagine, video e token. Le righe della A100 sono stime ricavate dalle specifiche e da misure pubblicate, date come intervalli. I numeri reali dipendono da risoluzione, lunghezza del prompt, batch size e versioni del software.

Ne escono tre schemi:

• Immagini: la 4090 costa meno, e di parecchio. La H100 è circa due volte più veloce, ma all’ora costa diverse volte di più. Sui modelli di immagini in fp8 la A100 è più lenta di una 4090, perché non ha calcolo fp8.
• Training di un modello che sta in 24 GB: di nuovo la 4090. Sulla carta la A100 ha più calcolo tensor, ma nella pratica addestra i modelli piccoli più o meno alla velocità della 4090; la H100 è circa due volte più veloce. Di solito nessuna delle due costa meno per LoRA finita.
• Modelli linguistici grandi: le schede da data center. La H100 finisce lo stesso milione di token in circa metà del tempo, ma il suo prezzo orario di solito è diverse volte quello della A100, quindi spesso la A100 risulta più economica per token; le due celle di costo mostrano la risposta di oggi. La H100 è la scelta migliore quando il batch deve finire prima o quando servi utenti che aspettano.

I prezzi del catalogo sono in tempo reale, quindi prima di un lavoro grande rifai l’ultima colonna con i prezzi attuali della pagina dei prezzi.

Prima decide la memoria, poi la velocità

L’ordine della scelta è semplice: trova quanta memoria chiede il tuo modello, poi prendi la scheda più economica che la contiene, e solo dopo guarda la velocità.

Il gradino tra 24 e 80 GB ha le sue schede: la RTX 5090 da 32 GB e le schede da 48 GB come la RTX A6000 (da 0,72 €) e la L40S (da 1,06 €). Per un modello da 70B a 4 bit con contesto normale, una scheda da 48 GB è spesso l’opzione più economica in assoluto. Il selettore di VRAM ti dà il numero per un modello specifico.

Più schede: dove NVLink comincia a contare

Se una scheda non basta, la scelta cambia di nuovo. Due o quattro 4090 nella stessa macchina possono contenere un modello linguistico più grande diviso tra le schede, e vLLM o llama.cpp lo gestiscono bene, perché l’inferenza manda relativamente pochi dati tra le schede. Il training è diverso: il training data-parallel si scambia i gradienti dopo ogni step, e il training con sharding (FSDP, DeepSpeed ZeRO-3) sposta i pesi stessi. Via PCIe senza peer-to-peer, come sulla 4090, quattro schede possono rendere quanto due o tre. Su una macchina H100 SXM o A100 SXM, la rete NVLink fa scalare otto schede molto più vicino a otto volte una scheda.

Quindi la regola per il lavoro multi-GPU: schede consumer per l’inferenza e i piccoli training data-parallel, schede da data center SXM per il training serio. Il nome della macchina nel catalogo ti dice cosa stai prendendo: «SXM» o «SXM4» nel nome vuol dire che le schede stanno su una board costruita per NVLink, e dopo l’avvio nvidia-smi topo -m mostra come sono collegate davvero.

Un modo rapido per scegliere

• Il tuo modello sta in 24 GB: noleggia una 4090. Costa meno per immagine e per LoRA, ed è abbastanza veloce per la chat.
• Chiede 32–48 GB: guarda la RTX 5090 e le schede da 48 GB prima di saltare a 80 GB.
• Chiede 80 GB e puoi aspettare: la A100 dà più memoria per euro.
• Chiede 80 GB e la velocità conta, o ti serve l’fp8: la H100.
• Chiede più di 80 GB su una scheda: la H200 (141 GB) o la B200 (192 GB), oppure più schede.

La fatturazione è al minuto dopo un minimo di 15 minuti, quindi un test sulla scheda più grande costa poco. Far girare lo stesso lavoro breve su due schede e confrontare i minuti è il benchmark più affidabile che puoi avere per il tuo carico di lavoro. La pagina della H100 mostra le macchine disponibili in questo momento, accanto alla A100 e alle altre schede della stessa fascia.