12. November 2026 · VRAMfarm-Team

H200 vs. H100: Wann sich 141 GB lohnen und wann 80 GB reichen

Llama 3.3 70B in fp8 lädt auf einer H100 mit nur 4–8 GB Reserve. Das reicht für etwa 12.000–25.000 Tokens KV-Cache in 16 Bit, die sich alle Unterhaltungen des Servers teilen. Auf einer H200 lässt dasselbe Modell rund 60 GB frei, genug für den vollen Kontext von 128.000 Tokens oder zwanzig parallele Chats mit je 8.000. Das ist das Argument für die H200 in einem Beispiel: Sie hat dieselbe Rechenleistung wie die H100, aber 141 GB Speicher statt 80 und 4,8 TB/s Bandbreite statt 3,35. Sie kostet ab 5,43 € pro Stunde, die H100 ab 3,90 €. Ob sich der zusätzliche Speicher lohnt, hängt davon ab, ob Ihrem Job auf der H100 der Speicher ausgeht, und das lässt sich leicht prüfen.

Derselbe Chip, mehr und schnellerer Speicher

Beide Karten führen exakt dieselbe Software aus; ein Projekt von der einen auf die andere zu verlegen, erfordert keine Änderungen. Der Katalog fasst unter jedem Namen mehrere Versionen zusammen: Die H100 kann SXM, PCIe (etwa 2 TB/s, niedrigere Taktraten) oder die H100 NVL mit 94 GB sein, die H200 SXM oder die PCIe-basierte H200 NVL. Den genauen Namen jeder Maschine sehen Sie vor dem Start.

Aus der Tabelle folgen zwei Dinge. Alles, was durch die Rechenleistung begrenzt ist, läuft auf beiden gleich schnell: Training eines Modells, das auf beide passt, Bild- und Videogenerierung, Verarbeitung des Prompts. Alles, was durch den Speicher begrenzt ist, läuft auf der H200 bis zu 1,4-mal schneller, denn 4,8 ÷ 3,35 ≈ 1,43. Das betrifft vor allem die Texterzeugung, bei der jedes neue Token alle Gewichte des Modells liest.

Wenn 80 GB nicht mehr reichen

Beim Speicher unterscheiden sich die beiden Karten wirklich. Die Schätzungen unten beruhen auf der Formel aus dem VRAM-Ratgeber: Gewichte plus KV-Cache plus ein paar Gigabyte für die Laufzeitumgebung. Bei Llama 3.3 70B belegt der Cache in 16 Bit etwa 0,33 MB pro Token, in fp8 die Hälfte.

Das Muster: Die H200 zählt bei 70B-Modellen in fp8, langem Kontext mit jedem großen Modell und den großen Mixture-of-Experts-Modellen. Ein MoE-Modell wie Qwen3 235B-A22B rechnet pro Token nur mit etwa 22B Parametern und erzeugt Text daher schnell, aber alle 235B Parameter müssen im Speicher liegen. Auf eine H200 passt eine schlanke 4-Bit-Variante mit moderatem Kontext; schwerere 4-Bit-Formate passen nicht, und dann sind eine B200 mit 192 GB oder zwei Karten die Antwort.

Warum fp8 statt 4 Bit für ein 70B-Modell? fp8 liegt in der Qualität sehr nah am Originalmodell und läuft schnell auf den fp8-Tensorkernen von Hopper. 4 Bit ist kleiner und für Chat in Ordnung, verliert aber bei Code, Mathematik und langem Schlussfolgern etwas mehr. Wenn 4 Bit für Ihren Zweck reicht, hat die H100 Platz dafür und ist die günstigere Karte (siehe nächster Abschnitt).

Für ein 70B-Modell bei normalem Kontext brauchen Sie vielleicht keine der beiden: Ein 70B-Modell in 4 Bit läuft auf einer 48-GB-Karte mit 8.000–12.000 Tokens Kontext, zu einem Bruchteil des Preises.

Geschwindigkeit: Was die zusätzliche Bandbreite bringt

Bei einem einzelnen Textstrom ist die H200 etwa 1,3- bis 1,4-mal schneller: Ein 70B-Modell in fp8 erzeugt auf einer H100 etwa 25–38 Tokens pro Sekunde und auf einer H200 35–55, je nach Laufzeitumgebung und Kontextlänge.

Bei einem Server mit vielen Nutzern kann der Gewinn deutlich größer sein, allerdings aus einem anderen Grund. Durch Batching erzeugt die Karte mit einem einzigen Lesen der Gewichte Tokens für viele Unterhaltungen, und die Batch-Größe ist dadurch begrenzt, wie viel KV-Cache hineinpasst. Auf einer H100 mit einem 70B-Modell in fp8 fasst der Cache nur wenige Unterhaltungen gleichzeitig, auf einer H200 ein Vielfaches. NVIDIA nennt bis zu etwa den 1,9-fachen Durchsatz der H100 bei 70B-Inferenz; wie viel davon Sie sehen, hängt davon ab, wie stark Ihr Batch auf der H100 durch den Speicher begrenzt war.

Bei Training und Bildgenerierung rechnen Sie mit derselben Geschwindigkeit, auf wenige Prozent genau, es sei denn, der zusätzliche Speicher ändert Ihr Setup. Ein volles Fine-Tuning eines 7–8B-Modells mit normalem AdamW braucht etwa 16 Bytes pro Parameter, also 112–128 GB vor den Aktivierungen. Auf einer H200 kann das mit Gradient Checkpointing und kurzen Sequenzen auf eine Karte passen; auf einer H100 braucht es einen 8-Bit-Optimizer oder zwei Karten. Wenn Sharding oder Offloading wegfallen, spart das Zeit, aber die Rechenarbeit pro Schritt bleibt gleich.

Preis pro nützlichem Token

Entscheidend sind die Kosten pro fertigem Job, nicht pro Stunde. Die Werte sind Ausgabe-Tokens in einem langen vLLM-Batch, als Spannen, weil sie von Prompt- und Antwortlänge, parallelen Anfragen und der vLLM-Version abhängen. Dieselben Annahmen gelten im Artikel zu den Kosten pro Million Tokens.

Die Kostenspalten nutzen Live-Preise und zeigen also die heutige Antwort. Mit den Preisen vom November 2026 ergab sich:

• 70B in fp8: Die H200 ist pro Token klar günstiger, weil der H100 der Speicher für den Cache fehlt und sie kaum Batching betreiben kann.
• 70B in 4 Bit: Die H100 ist meist günstiger, weil sie genug Platz für den Cache hat und der Bandbreitengewinn der H200 kleiner ist als ihr Preisaufschlag.
• Kleine Modelle: die H100, weil beide Karten dort vor allem durch die Rechenleistung begrenzt sind.

Auch ein kurzer Job zahlt das Minimum von 15 Minuten pro Start; diese Werte zählen also bei Batches von Dutzenden Millionen Tokens, nicht bei einem schnellen Test.

Eine H200 oder zwei H100?

Zwei H100 bieten 160 GB und die doppelte Rechenleistung für 7,80 € pro Stunde, gegenüber 5,43 € für eine H200. Auf dem Papier gewinnt das Paar. In der Praxis hängt es von der Maschine und der Software ab:

• Auf einer SXM-Maschine mit NVLink liefert ein 70B-Modell, das mit vLLM und --tensor-parallel-size 2 auf zwei H100 verteilt ist, hohen Durchsatz und viel Platz für den Cache. Kostet das Paar etwa so viel wie eine H200, ist es für den Betrieb meist die schnellere Option.
• Auf PCIe-H100 ohne Brücke schickt ein auf zwei Karten verteiltes Modell bei jeder Schicht Daten zwischen ihnen hin und her, und ein guter Teil des Gewinns geht verloren. nvidia-smi topo -m zeigt nach dem Start, wie die Karten verbunden sind; die Grundlagen des Multi-GPU-Trainings erklären, wie Sie die Ausgabe lesen.
• Eine H200 ist einfacher. Keine Parallelisierungseinstellungen, kein Verkehr zwischen Karten, und sie funktioniert mit Werkzeugen, die nur eine GPU nutzen. Ein MoE-Modell, das auf eine Karte passt, bleibt am besten auf einer Karte, dann müssen Tokens nicht zwischen Karten zu ihren Experten wandern.

Welche Sie mieten sollten

• 70B in fp8, lange Dokumente, viele parallele Nutzer oder ein 235B-MoE-Modell in einer schlanken 4-Bit-Variante: die H200.
• 70B in 4 Bit, 32B-Modelle, Fine-Tuning eines Modells, das in 80 GB passt, Bild- oder Videoarbeit: die H100 oder eine günstigere Karte. Für Bilder ist eine Endkundenkarte pro Bild deutlich günstiger (siehe H100 vs. A100 vs. RTX 4090).
• Unsicher: Starten Sie die H100 mit Ihren echten Einstellungen. Weigert sich vLLM, mit dem nötigen Kontext zu starten, oder nennt die beim Start ausgegebene „maximum concurrency“ nur eine Handvoll Anfragen, wechseln Sie zur H200. Bei minutengenauer Abrechnung kostet der Test das Minimum von 15 Minuten, etwa 0,98 €.

Die Seiten zur H200 und H100 zeigen die Maschinen, die gerade frei sind, jeweils mit genauer Kartenversion, Land, Treiber- und CUDA-Version.