12. November 2026 · VRAMfarm-Team

H100 vs. A100 vs. RTX 4090: Wann sich eine Rechenzentrums-GPU für KI lohnt

Eine RTX 4090 erzeugt ein Flux-Bild für einen Bruchteil dessen, was eine H100 für dasselbe Bild kostet, kann aber ein 70B-Modell überhaupt nicht laden. Damit ist der Vergleich in zwei Sätzen erzählt: Die Endkundenkarte gewinnt beim Preis pro Job bei allem, was in 24 GB passt, und die Rechenzentrumskarten gewinnen, wenn Modell, Batch oder Training 80 GB und schnelle Verbindungen zwischen den Karten brauchen. Die 4090 gibt es ab 0,59 € pro Stunde, die A100 mit 80 GB ab 1,46 € und die H100 ab 3,90 €.

Was eine Rechenzentrumskarte von einer Endkundenkarte unterscheidet

Der Rechenwert der 4090 gilt mit FP32-Akkumulation, wie sie beim Training verwendet wird; mit FP16-Akkumulation, die manche Inferenz-Engines nutzen, verdoppelt er sich. Die Werte der H100 gelten für die SXM-Version. Die PCIe-Karte hat etwa 2 TB/s und rund ein Viertel weniger Rechenleistung, die H100 NVL hat 94 GB bei 3,9 TB/s. Der Katalog führt alle drei unter H100 und zeigt vor dem Start für jede Maschine den genauen Namen.

Vier Dinge unterscheiden die Rechenzentrumskarten, und für die meisten zählt nur das erste:

1. Speichergröße. In 80 GB passt ein 70B-Sprachmodell in 4 Bit mit langem Kontext, ein 32B-Modell in fp8 oder ein volles Fine-Tuning eines 7–8B-Modells. In 24 GB passt nichts davon.
2. Speicherbandbreite. HBM ist zwei- (A100) bis dreimal (H100) so schnell wie der GDDR6X der 4090. Sprachmodelle lesen für jedes Token alle Gewichte, deshalb erzeugt eine H100 mit demselben Modell Text etwa dreimal so schnell wie eine 4090, sofern das Modell auf beide passt.
3. Verbindungen zwischen Karten. SXM-Boards verbinden vier oder acht Karten über NVLink mit 600–900 GB/s. Endkundenkarten tauschen Daten über PCIe mit etwa 25–32 GB/s aus, und die 4090 unterstützt direkte Peer-to-Peer-Übertragungen überhaupt nicht. Beim Training mit mehreren GPUs ist das der Unterschied zwischen guter und kaum vorhandener Skalierung; siehe Grundlagen des Multi-GPU-Trainings.
4. FP64 und Dauerbetrieb. Simulationen und wissenschaftlicher Code, die doppelte Genauigkeit brauchen, laufen auf einer A100 oder H100 15- bis 50-mal schneller. Rechenzentrumskarten sind außerdem für monatelange Dauerlast gebaut.

Was sie nicht unterscheidet: die Software. PyTorch, vLLM und ComfyUI laufen auf allen dreien mit demselben Code.

Wofür sich jede Karte am besten eignet

RTX 4090: alles, was in 24 GB passt. Flux, SDXL, Qwen-Image, HiDream, Wan 2.2 5B, LoRA-Training, Chat mit Modellen bis 32B in 4 Bit. Bildmodelle sind durch die Rechenleistung begrenzt, und davon bietet die 4090 pro Euro mehr als beide Rechenzentrumskarten. Außerdem rechnet sie fp8 nativ, die A100 nicht.

A100 80 GB: die günstigsten 80 GB. Sie ist die ältere Generation und hat kein fp8, aber die meisten mieten sie wegen ihres Speichers: ein 70B-Modell in 4 Bit mit Platz für lange Dokumente oder mehrere Nutzer, QLoRA auf einem 70B-Modell, ein volles Fine-Tuning eines 8B-Modells mit 8-Bit-Optimizer oder ein 32B-Modell in 16 Bit. Sie eignet sich auch gut für ältere Projekte, die an einen alten CUDA-Stack gebunden sind, denn sm_80 wird von jeder PyTorch-Version der letzten fünf Jahre unterstützt.

H100: die schnellste pro Karte. Etwa die dreifache dichte BF16-Rechenleistung der A100, fp8 über NVIDIAs Transformer Engine und 3,35 TB/s Bandbreite. Mieten Sie sie, wenn der Job groß ist und Ihre Zeit zählt: ein 70B-Modell für viele Nutzer bereitstellen, ein Training, das auf einer A100 Tage dauern würde, oder ein Lauf mit mehreren GPUs auf einer SXM-Maschine, auf der NVLink acht Karten ausgelastet hält.

Geschwindigkeit und Kosten pro Job

Die Tabelle beruht auf denselben Annahmen wie der Artikel zu den Kosten pro Bild, Video und Token. Die Zeilen zur A100 sind Schätzungen aus ihren Datenblättern und veröffentlichten Messungen, als Spannen angegeben. Die realen Werte hängen von Auflösung, Prompt-Länge, Batch-Größe und Softwareversionen ab.

Daraus ergeben sich drei Muster:

• Bilder: Die 4090 ist mit großem Abstand am günstigsten. Die H100 ist etwa doppelt so schnell, kostet pro Stunde aber ein Mehrfaches. Die A100 ist bei Bildmodellen in fp8 langsamer als eine 4090, weil sie fp8 nicht rechnen kann.
• Training eines Modells, das in 24 GB passt: wieder die 4090. Die A100 hat auf dem Papier mehr Tensorleistung, trainiert kleine Modelle in der Praxis aber etwa so schnell wie die 4090; die H100 ist etwa doppelt so schnell. Pro fertiger LoRA ist meist keine der beiden günstiger.
• Große Sprachmodelle: die Rechenzentrumskarten. Die H100 schafft dieselbe Million Tokens in etwa der halben Zeit, ihr Stundenpreis liegt aber meist beim Mehrfachen der A100, sodass die A100 pro Token oft günstiger ist; die beiden Kostenzellen zeigen die heutige Antwort. Die H100 ist die bessere Wahl, wenn der Batch schneller fertig sein muss oder wenn Nutzer auf Antworten warten.

Die Preise im Katalog sind live. Rechnen Sie die letzte Spalte vor einem großen Job deshalb mit den aktuellen Preisen von der Preisseite nach.

Erst entscheidet der Speicher, dann die Geschwindigkeit

Die Reihenfolge der Entscheidung ist einfach: Finden Sie heraus, was Ihr Modell braucht, wählen Sie die günstigste Karte, die es fasst, und schauen Sie erst dann auf die Geschwindigkeit.

Für den Schritt zwischen 24 und 80 GB gibt es eigene Karten: die RTX 5090 mit 32 GB und 48-GB-Karten wie die RTX A6000 (ab 0,72 €) und die L40S (ab 1,06 €). Für ein 70B-Modell in 4 Bit bei normalem Kontext ist eine 48-GB-Karte oft die günstigste Option überhaupt. Die VRAM-Auswahl nennt Ihnen den Wert für ein bestimmtes Modell.

Mehrere Karten: Wo NVLink wichtig wird

Reicht eine Karte nicht, ändert sich die Wahl wieder. Zwei oder vier 4090 in einer Maschine können ein größeres Sprachmodell aufgeteilt auf die Karten fassen, und vLLM oder llama.cpp kommen damit gut zurecht, weil bei der Inferenz relativ wenig Daten zwischen den Karten fließen. Beim Training ist das anders: Datenparalleles Training tauscht nach jedem Schritt Gradienten aus, und Sharded Training (FSDP, DeepSpeed ZeRO-3) verschiebt sogar die Gewichte selbst. Über PCIe ohne Peer-to-Peer, wie bei der 4090, liefern vier Karten unter Umständen nur die Geschwindigkeit von zwei oder drei. Auf einer Maschine mit H100 SXM oder A100 SXM lässt das NVLink-Netz acht Karten deutlich näher an das Achtfache einer Karte skalieren.

Die Regel für Arbeit mit mehreren GPUs lautet also: Endkundenkarten für Inferenz und kleine datenparallele Läufe, SXM-Rechenzentrumskarten für ernsthaftes Training. Der Maschinenname im Katalog verrät, was Sie bekommen: „SXM“ oder „SXM4“ im Namen heißt, dass die Karten auf einem Board für NVLink sitzen, und nach dem Start zeigt nvidia-smi topo -m, wie sie tatsächlich verbunden sind.

Schnell entscheiden

• Ihr Modell passt in 24 GB: Mieten Sie eine 4090. Sie ist pro Bild und pro LoRA am günstigsten und für Chat schnell genug.
• Es braucht 32–48 GB: Sehen Sie sich die RTX 5090 und 48-GB-Karten an, bevor Sie zu 80 GB springen.
• Es braucht 80 GB, und Sie können warten: Die A100 bietet den meisten Speicher pro Euro.
• Es braucht 80 GB, und Geschwindigkeit zählt, oder Sie brauchen fp8: die H100.
• Es braucht mehr als 80 GB auf einer Karte: die H200 (141 GB) oder B200 (192 GB) oder mehrere Karten.

Abgerechnet wird minutengenau nach einem Minimum von 15 Minuten, ein Test auf der größeren Karte kostet also wenig. Denselben kurzen Job auf zwei Karten laufen zu lassen und die Minuten zu vergleichen, ist der zuverlässigste Benchmark für Ihre eigene Aufgabe. Die H100-Seite zeigt die Maschinen, die gerade frei sind, neben der A100 und anderen Karten derselben Klasse.