12 novembre 2026 · Team VRAMfarm

H200 o H100: quando 141 GB valgono il prezzo e quando bastano 80 GB

Llama 3.3 70B in fp8 si carica su una H100 con appena 4–8 GB di avanzo. Restano circa 12–25 mila token di KV cache a 16 bit, da dividere tra tutte le conversazioni che il server gestisce. Su una H200 lo stesso modello lascia circa 60 GB, abbastanza per l’intero contesto da 128k o venti chat in parallelo da 8k ciascuna. In un esempio, è tutto il senso della H200: ha lo stesso calcolo della H100, con 141 GB di memoria invece di 80 e 4,8 TB/s di banda invece di 3,35. Si noleggia da 5,43 € all’ora, la H100 da 3,90 €. Se la memoria in più valga la spesa dipende da una cosa: il tuo lavoro finisce la memoria sulla H100? Ed è facile verificarlo.

Stesso chip, memoria più grande e più veloce

Le due schede usano esattamente lo stesso software, quindi spostare un progetto dall’una all’altra non richiede modifiche. Il catalogo raggruppa più versioni sotto ogni nome: la H100 può essere SXM, PCIe (circa 2 TB/s, clock più bassi) o la H100 NVL da 94 GB; la H200 può essere SXM o la H200 NVL basata su PCIe. Il nome esatto di ogni macchina è indicato prima dell’avvio.

Dalla tabella derivano due conseguenze. Tutto ciò che è limitato dal calcolo gira alla stessa velocità su entrambe: il training di un modello che sta su tutte e due, la generazione di immagini e video, l’elaborazione del prompt. Tutto ciò che è limitato dalla memoria gira fino a 1,4 volte più veloce sulla H200, perché 4,8 ÷ 3,35 ≈ 1,43. Si tratta soprattutto della generazione di testo, dove ogni nuovo token legge tutti i pesi del modello.

Quando 80 GB finiscono

È sulla memoria che le due schede si distinguono davvero. Le stime qui sotto usano la formula della guida alla VRAM: pesi, più KV cache, più qualche gigabyte per il runtime. Per Llama 3.3 70B la cache occupa circa 0,33 MB per token a 16 bit e la metà in fp8.

Lo schema: la H200 conta per i modelli da 70B in fp8, il contesto lungo su qualsiasi modello grande e i grandi modelli mixture-of-experts. Un modello mixture-of-experts come Qwen3 235B-A22B calcola con circa 22B parametri per token, quindi genera testo in fretta, ma tutti i 235B parametri devono stare in memoria. Su una sola H200 una build compatta a 4 bit ci sta con un contesto moderato; i formati a 4 bit più pesanti no, e allora la risposta è una B200 da 192 GB o due schede.

Perché fp8 e non 4 bit per un modello da 70B? L’fp8 è molto vicino al modello originale in qualità e gira veloce sui tensor core fp8 di Hopper. Il 4 bit è più piccolo e va bene per la chat, ma perde un po’ di più su codice, matematica e ragionamenti lunghi. Se per il tuo uso il 4 bit basta, la H100 ha spazio a sufficienza ed è la scheda più economica (vedi la sezione successiva).

Per un modello da 70B a contesto normale potresti non aver bisogno di nessuna delle due: un 70B a 4 bit gira su una scheda da 48 GB con 8–12k token di contesto, a una frazione del prezzo.

Velocità: cosa compra la banda in più

Per un singolo flusso di testo, la H200 è circa 1,3–1,4 volte più veloce: un modello da 70B in fp8 genera circa 25–38 token al secondo su una H100 e 35–55 su una H200, a seconda del runtime e della lunghezza del contesto.

Per un server con molti utenti il guadagno può essere molto più grande, ma per un altro motivo. Il batching permette alla scheda di generare token per molte conversazioni con una sola lettura dei pesi, e il batch size è limitato da quanta KV cache ci sta. Su una H100 con un modello da 70B in fp8, la cache contiene solo poche conversazioni alla volta; su una H200 ne contiene molte volte di più. NVIDIA indica fino a circa 1,9 volte il throughput della H100 nell’inferenza su 70B; quanto ne vedrai tu dipende da quanto il tuo batch era limitato dalla memoria sulla H100.

Per training e generazione di immagini, aspettati la stessa velocità a meno di qualche punto percentuale, a meno che la memoria in più non cambi la tua configurazione. Un fine-tuning completo di un modello da 7–8B con AdamW standard occupa circa 16 byte per parametro, 112–128 GB prima delle attivazioni. Su una H200 può stare su una sola scheda con gradient checkpointing e sequenze brevi; su una H100 servono un ottimizzatore a 8 bit o due schede. Togliere sharding od offloading fa risparmiare tempo, ma il calcolo per step resta lo stesso.

Prezzo per token utile

Quello che conta è il costo per lavoro finito, non per ora. I valori sono token di output in un batch lungo con vLLM, con intervalli perché dipendono dalla lunghezza di prompt e risposte, dalle richieste in parallelo e dalla versione di vLLM. Le stesse ipotesi sono usate nell’articolo sul costo per milione di token.

Le colonne dei costi usano prezzi in tempo reale, quindi mostrano la risposta di oggi. Con i prezzi di novembre 2026 il risultato era:

• 70B in fp8: la H200 costa chiaramente meno per token, perché la H100 è a corto di memoria per la cache e non riesce a fare batching.
• 70B a 4 bit: di solito costa meno la H100, perché ha abbastanza spazio per la cache e il vantaggio di banda della H200 è più piccolo della differenza di prezzo.
• Modelli piccoli: la H100, perché lì entrambe le schede sono limitate soprattutto dal calcolo.

Un lavoro breve paga comunque il minimo di 15 minuti per avvio, quindi queste tariffe contano per batch da decine di milioni di token, non per un test veloce.

Una H200 o due H100?

Due H100 danno 160 GB e il doppio del calcolo per 7,80 € all’ora, contro 5,43 € per una H200. Sulla carta vince la coppia. In pratica dipende dalla macchina e dal software:

• Su una macchina SXM con NVLink, un modello da 70B diviso su due H100 con --tensor-parallel-size 2 di vLLM dà un throughput alto e molto spazio per la cache. Se la coppia costa più o meno come una H200, per servire un modello di solito è l’opzione più veloce.
• Su H100 PCIe senza bridge, dividere un modello su due schede manda dati dall’una all’altra a ogni layer, e buona parte del vantaggio si perde. nvidia-smi topo -m dopo l’avvio mostra come sono collegate le schede; le basi del training multi-GPU spiegano come leggerlo.
• Una H200 è più semplice. Niente impostazioni di parallelismo, niente traffico tra schede, e funziona con gli strumenti che usano una sola GPU. Per un modello mixture-of-experts che sta su una scheda, tenerlo su una scheda evita di spedire token tra le schede per raggiungere i loro esperti.

Quale noleggiare

• 70B in fp8, documenti lunghi, molti utenti in parallelo o un MoE da 235B in una build compatta a 4 bit: la H200.
• 70B a 4 bit, modelli da 32B, fine-tuning di un modello che sta in 80 GB, immagini o video: la H100, o una scheda più economica. Per le immagini, una scheda consumer costa molto meno per immagine (vedi H100, A100 o RTX 4090).
• Se hai dubbi: avvia la H100 con le tue impostazioni reali. Se vLLM si rifiuta di partire con il contesto che ti serve, o la “maximum concurrency” che stampa all’avvio è di poche richieste, passa alla H200. Con la fatturazione al minuto, il test costa il minimo di 15 minuti, circa 0,98 €.

Le pagine della H200 e della H100 mostrano le macchine disponibili in questo momento, con versione esatta della scheda, paese, driver e versione CUDA di ognuna.