12 de noviembre de 2026 · Equipo de VRAMfarm
H200 vs H100: cuándo merece la pena pagar por 141 GB y cuándo bastan 80 GB
Llama 3.3 70B en fp8 carga en una H100 con solo 4–8 GB de sobra. Eso deja sitio para unos 12 000–25 000 tokens de caché KV en 16 bits, compartidos entre todas las conversaciones que tenga abiertas el servidor. En una H200, el mismo modelo deja unos 60 GB libres, suficientes para el contexto completo de 128 000 tokens o para veinte chats en paralelo de 8000 cada uno. Ese es el argumento a favor de la H200 en un solo ejemplo: tiene el mismo cálculo que la H100, con 141 GB de memoria en lugar de 80 y 4,8 TB/s de ancho de banda en lugar de 3,35. Se alquila desde 5,43 € la hora, y la H100, desde 3,90 €. Que la memoria extra compense depende de si tu trabajo se queda sin memoria en la H100, y eso es fácil de comprobar.
El mismo chip, con más memoria y más rápida
| H100 SXM | H200 SXM | |
|---|---|---|
| Arquitectura | Hopper (2022), sm_90 |
Hopper (2024), sm_90 |
| Memoria | 80 GB HBM3 | 141 GB HBM3e |
| Ancho de banda de memoria | 3,35 TB/s | 4,8 TB/s |
| Cálculo tensorial BF16, denso | unos 989 TFLOPS | unos 989 TFLOPS |
| Cálculo tensorial FP8, denso | unos 1979 TFLOPS | unos 1979 TFLOPS |
| NVLink entre tarjetas | 900 GB/s | 900 GB/s |
| Consumo de la placa | hasta 700 W | hasta 700 W |
| Precio de alquiler | desde 3,90 €/h | desde 5,43 €/h |
Las dos tarjetas ejecutan exactamente el mismo software, así que pasar un proyecto de una a otra no exige ningún cambio. El catálogo agrupa varias versiones bajo cada nombre: la H100 puede ser SXM, PCIe (unos 2 TB/s y frecuencias más bajas) o la H100 NVL de 94 GB; la H200 puede ser SXM o la H200 NVL basada en PCIe. El nombre exacto de cada máquina se muestra antes de lanzar.
De la tabla salen dos consecuencias. Todo lo que está limitado por el cálculo va a la misma velocidad en las dos: entrenar un modelo que cabe en ambas, generar imagen y vídeo, procesar el prompt. Todo lo que está limitado por la memoria va hasta 1,4 veces más rápido en la H200, porque 4,8 ÷ 3,35 ≈ 1,43. Sobre todo, la generación de texto, en la que cada token nuevo lee todos los pesos del modelo.
Cuándo se acaban los 80 GB
La memoria es donde las dos tarjetas se diferencian de verdad. Las estimaciones de abajo usan la fórmula de la guía de VRAM: pesos, más caché KV, más unos cuantos gigas para el entorno de ejecución. En Llama 3.3 70B, la caché ocupa unos 0,33 MB por token en 16 bits y la mitad en fp8.
| Modelo y formato | Pesos | En una H100 (80 GB) | En una H200 (141 GB) |
|---|---|---|---|
| Llama 3.3 70B, 4 bits (AWQ) | unos 40–43 GB | cabe, unos 30 GB para la caché | cabe, con mucha más caché de la que usan casi todos los trabajos |
| Llama 3.3 70B, fp8 | unos 71 GB | cabe, 4–8 GB para la caché: unos 12 000–25 000 tokens en total | unos 60 GB para la caché: unos 180 000 tokens |
| Llama 3.3 70B, bf16 | unos 141 GB | necesita 2 tarjetas | demasiado justo, necesita 2 tarjetas |
| Qwen3 32B, bf16 | unos 66 GB | cabe, unos 10 GB para la caché | cabe con mucho margen |
| Qwen3 235B-A22B (MoE), 4 bits ligero como GPTQ int4 o GGUF IQ4_XS | unos 120–125 GB | necesita 2 tarjetas | cabe, 10–20 GB para la caché: decenas de miles de tokens |
| Qwen3 235B-A22B, Q4_K_M | unos 142 GB | necesita 2 tarjetas | demasiado justo: una B200 o 2 tarjetas |
| DeepSeek V3 / R1 671B, 4 bits | unos 380–400 GB | 8 tarjetas | 4 tarjetas |
| Imagen, vídeo y LoRA | menos de 48 GB | cabe | cabe, la memoria extra no se usa |
El patrón: la H200 importa con modelos de 70B en fp8, contexto largo en cualquier modelo grande y los grandes modelos mixture-of-experts. Un modelo mixture-of-experts como Qwen3 235B-A22B solo calcula con unos 22B parámetros por token, así que genera texto rápido, pero los 235B parámetros tienen que estar en memoria. En una sola H200 cabe una versión ligera en 4 bits con un contexto moderado; los formatos de 4 bits más pesados no, y entonces la respuesta es una B200 de 192 GB o dos tarjetas.
¿Por qué fp8 y no 4 bits para un modelo de 70B? fp8 queda muy cerca del modelo original en calidad y va rápido en los núcleos tensoriales fp8 de Hopper. 4 bits ocupa menos y sirve para chatear, pero pierde algo más en código, matemáticas y razonamiento largo. Si 4 bits te basta, la H100 tiene sitio de sobra y es la tarjeta más barata (mira la sección siguiente).
Para un modelo de 70B con un contexto normal puede que no necesites ninguna de las dos: un 70B en 4 bits funciona en una tarjeta de 48 GB con 8000–12 000 tokens de contexto, por una fracción del precio.
Velocidad: qué te da el ancho de banda extra
Con un solo flujo de texto, la H200 es entre 1,3 y 1,4 veces más rápida: un modelo de 70B en fp8 genera unos 25–38 tokens por segundo en una H100 y 35–55 en una H200, según el entorno de ejecución y la longitud del contexto.
En un servidor con muchos usuarios, la ganancia puede ser mucho mayor, pero por otra razón. El batching permite a la tarjeta generar tokens para muchas conversaciones con una sola lectura de los pesos, y el tamaño del lote lo limita la caché KV que quepa. En una H100 con un modelo de 70B en fp8, la caché solo da para unas pocas conversaciones a la vez; en una H200 caben muchas más. NVIDIA habla de hasta unas 1,9 veces el rendimiento de la H100 en inferencia de 70B; cuánto de eso veas tú depende de hasta qué punto la memoria limitaba tu lote en la H100.
En entrenamiento y generación de imágenes, cuenta con la misma velocidad, con un margen de pocos puntos porcentuales, salvo que la memoria extra cambie tu configuración. Un ajuste fino completo de un modelo de 7–8B con AdamW estándar ocupa unos 16 bytes por parámetro, 112–128 GB antes de las activaciones. En una H200 eso puede caber en una sola tarjeta con gradient checkpointing y secuencias cortas; en una H100 necesita un optimizador de 8 bits o dos tarjetas. Quitar el sharding o el offloading ahorra tiempo, pero el cálculo por paso sigue siendo el mismo.
Precio por token útil
Lo que cuenta es el coste por trabajo terminado, no por hora. Las cifras son tokens de salida en un lote largo de vLLM, con rangos porque dependen de la longitud de prompts y respuestas, de las peticiones en paralelo y de la versión de vLLM. Las mismas suposiciones se usan en el artículo sobre el coste por millón de tokens.
| Carga de trabajo | H100 | H200 |
|---|---|---|
| Llama 3.3 70B, fp8, por lotes | 300–900 tokens/s, con 600: 28 min por millón de tokens, 1,81 € | 1200–3500 tokens/s, con 2000: 8 min, 0,75 € |
| Llama 3.3 70B, AWQ de 4 bits, por lotes | 600–1500 tokens/s, con 900: 19 min, 1,21 € | 800–2000 tokens/s, con 1300: 13 min, 1,16 € |
| Modelo de 8B, fp8, por lotes | 5000–12 000 tokens/s, con 8000: 2 min, 0,14 € | 6000–14 000 tokens/s, con 9500: menos de 2 min, 0,16 € |
Las columnas de coste usan precios en vivo, así que muestran la respuesta de hoy. Con los precios de noviembre de 2026, el resultado fue este:
- 70B en fp8: la H200 es claramente más barata por token, porque a la H100 le falta memoria para la caché y no puede trabajar por lotes.
- 70B en 4 bits: la H100 suele ser más barata, porque tiene sitio suficiente para la caché y la ventaja de ancho de banda de la H200 es menor que su diferencia de precio.
- Modelos pequeños: la H100, porque ahí las dos tarjetas están limitadas sobre todo por el cálculo.
Un trabajo corto sigue pagando el mínimo de 15 minutos por lanzamiento, así que estas tarifas importan para lotes de decenas de millones de tokens, no para una prueba rápida.
¿Una H200 o dos H100?
Dos H100 dan 160 GB y el doble de cálculo por 7,80 € la hora, frente a 5,43 € por una H200. Sobre el papel gana la pareja. En la práctica depende de la máquina y del software:
- En una máquina SXM con NVLink, un modelo de 70B repartido entre dos H100 con
--tensor-parallel-size 2de vLLM da mucho rendimiento y mucho sitio para la caché. Si la pareja cuesta más o menos lo mismo que una H200, suele ser la opción más rápida para servir. - En H100 PCIe sin puente, repartir un modelo entre dos tarjetas envía datos entre ellas en cada capa, y se pierde buena parte de la ganancia.
nvidia-smi topo -mdespués del lanzamiento muestra cómo están conectadas las tarjetas; en entrenamiento multi-GPU: lo básico se explica cómo leerlo. - Una H200 es más sencilla. Sin ajustes de paralelismo, sin tráfico entre tarjetas, y funciona con herramientas que solo usan una GPU. Con un modelo mixture-of-experts que cabe en una tarjeta, tenerlo en una sola evita enviar tokens de una tarjeta a otra para llegar a sus expertos.
Cuál alquilar
- 70B en fp8, documentos largos, muchos usuarios en paralelo o un MoE de 235B en una versión ligera de 4 bits: la H200.
- 70B en 4 bits, modelos de 32B, ajuste fino de un modelo que cabe en 80 GB, trabajo de imagen o vídeo: la H100, o una tarjeta más barata. Para imágenes, una tarjeta de consumo sale mucho más barata por imagen (mira H100 vs A100 vs RTX 4090).
- Si no lo tienes claro: arranca la H100 con tu configuración real. Si vLLM se niega a arrancar con el contexto que necesitas, o la «maximum concurrency» que muestra al arrancar es solo un puñado de peticiones, pasa a la H200. Con facturación por minuto, la prueba cuesta el mínimo de 15 minutos, unos 0,98 €.
Las páginas de la H200 y la H100 muestran las máquinas disponibles ahora mismo, con la versión exacta de la tarjeta, el país, el driver y la versión de CUDA de cada una.