12 de noviembre de 2026 · Equipo de VRAMfarm

H100 vs A100 vs RTX 4090: cuándo compensa una GPU de centro de datos para IA

Una RTX 4090 genera una imagen con Flux por una fracción de lo que cobra una H100 por la misma imagen, y sin embargo no puede ni cargar un modelo de 70B. Esa es la comparación entera en dos frases: la tarjeta de consumo gana en precio por trabajo en todo lo que cabe en 24 GB, y las tarjetas de centro de datos ganan cuando el modelo, el lote o el entrenamiento necesitan 80 GB y conexiones rápidas entre tarjetas. La 4090 se alquila desde 0,59 € la hora, la A100 de 80 GB desde 1,46 € y la H100 desde 3,90 €.

Qué diferencia una tarjeta de centro de datos de una de consumo

La cifra de cálculo de la 4090 es con acumulación en FP32, la que se usa al entrenar; con acumulación en FP16, que usan algunos motores de inferencia, se duplica. Las cifras de la H100 son de la versión SXM; la tarjeta PCIe tiene unos 2 TB/s y alrededor de una cuarta parte menos de cálculo, y la H100 NVL tiene 94 GB a 3,9 TB/s. El catálogo agrupa las tres bajo H100 y muestra el nombre exacto de cada máquina antes de lanzar.

Hay cuatro cosas que distinguen a las tarjetas de centro de datos, y para la mayoría de la gente solo importa la primera:

1. Tamaño de memoria. En 80 GB caben un modelo de lenguaje de 70B en 4 bits con contexto largo, un modelo de 32B en fp8 o el ajuste fino completo de un modelo de 7–8B. En 24 GB no cabe ninguno de ellos.
2. Ancho de banda de memoria. La HBM es entre dos (A100) y tres (H100) veces más rápida que la GDDR6X de la 4090. Los modelos de lenguaje generan cada token leyendo todos sus pesos, así que la H100 genera texto unas tres veces más rápido que una 4090 con el mismo modelo, si el modelo cabe en las dos.
3. Conexión entre tarjetas. Las placas SXM conectan cuatro u ocho tarjetas por NVLink a 600–900 GB/s. Las tarjetas de consumo comparten datos por PCIe a unos 25–32 GB/s, y la 4090 ni siquiera admite transferencias directas peer-to-peer. En entrenamiento con varias GPU, esto marca la diferencia entre escalar bien y apenas escalar; mira conceptos básicos del entrenamiento con varias GPU.
4. FP64 y diseño para funcionar 24/7. Las simulaciones y los programas científicos que necesitan doble precisión van entre 15 y 50 veces más rápido en una A100 o una H100. Además, las tarjetas de centro de datos están hechas para meses de carga continua.

Lo que no las diferencia: el software. PyTorch, vLLM y ComfyUI funcionan en las tres con el mismo código.

En qué destaca cada tarjeta

RTX 4090: todo lo que cabe en 24 GB. Flux, SDXL, Qwen-Image, HiDream, Wan 2.2 5B, entrenamiento de LoRA y chat con modelos de hasta 32B en 4 bits. Los modelos de imagen están limitados por el cálculo, y por cada euro la 4090 da más cálculo que cualquiera de las dos tarjetas de centro de datos. Además calcula en fp8 de forma nativa, algo que la A100 no hace.

A100 de 80 GB: los 80 GB más baratos. Es de la generación anterior y no tiene fp8, pero casi todo el mundo la alquila por su memoria: un modelo de 70B en 4 bits con sitio para documentos largos o varios usuarios, QLoRA sobre un modelo de 70B, el ajuste fino completo de un modelo de 8B con un optimizador de 8 bits o un modelo de 32B en 16 bits. También es buena tarjeta para proyectos antiguos atados a una versión vieja de CUDA, porque todas las versiones de PyTorch de los últimos cinco años admiten sm_80.

H100: la más rápida por tarjeta. Unas tres veces el cálculo BF16 denso de la A100, fp8 a través del Transformer Engine de NVIDIA y 3,35 TB/s de ancho de banda. Alquílala cuando el trabajo sea grande y tu tiempo importe: servir un modelo de 70B a muchos usuarios, un entrenamiento que duraría días en una A100 o un entrenamiento con varias GPU en una máquina SXM, donde NVLink mantiene ocupadas las ocho tarjetas.

Velocidad y coste por trabajo

La tabla usa los mismos supuestos que el artículo sobre el coste por imagen, vídeo y token. Las filas de la A100 son estimaciones a partir de sus especificaciones y de mediciones publicadas, expresadas como rangos. Las cifras reales dependen de la resolución, la longitud del prompt, el tamaño de lote y las versiones del software.

De aquí salen tres patrones:

• Imágenes: la 4090 es la más barata con diferencia. La H100 es más o menos el doble de rápida, pero cuesta varias veces más por hora. La A100 es más lenta que una 4090 con modelos de imagen en fp8, porque no calcula en fp8.
• Entrenar un modelo que cabe en 24 GB: otra vez la 4090. La A100 tiene más cálculo tensorial sobre el papel, pero en la práctica entrena modelos pequeños más o menos a la velocidad de la 4090; la H100 es aproximadamente el doble de rápida. Ninguna de las dos suele salir más barata por LoRA terminado.
• Modelos de lenguaje grandes: las tarjetas de centro de datos. La H100 termina el mismo millón de tokens en más o menos la mitad de tiempo, pero su precio por hora suele ser varias veces el de la A100, así que la A100 a menudo sale más barata por token; las dos celdas de coste muestran la respuesta de hoy. La H100 es mejor opción cuando el lote tiene que terminar antes o cuando sirves a usuarios que están esperando.

Los precios del catálogo van en vivo, así que rehaz la última columna con los precios actuales de la página de precios antes de un trabajo grande.

Primero decide la memoria, después la velocidad

El orden de la decisión es sencillo: averigua qué necesita tu modelo, elige la tarjeta más barata en la que quepa y solo entonces mira la velocidad.

El salto entre 24 y 80 GB tiene sus propias tarjetas: la RTX 5090 de 32 GB y tarjetas de 48 GB como la RTX A6000 (desde 0,72 €) y la L40S (desde 1,06 €). Para un modelo de 70B en 4 bits con contexto normal, una tarjeta de 48 GB suele ser la opción más barata de todas. El selector de VRAM te da la cifra para un modelo concreto.

Varias tarjetas: dónde empieza a importar NVLink

Si una tarjeta no basta, la elección vuelve a cambiar. Dos o cuatro 4090 en una misma máquina pueden con un modelo de lenguaje más grande repartido entre las tarjetas, y vLLM o llama.cpp lo hacen bien, porque la inferencia envía relativamente pocos datos entre tarjetas. Entrenar es distinto: el entrenamiento con paralelismo de datos intercambia gradientes después de cada paso, y el entrenamiento con sharding (FSDP, DeepSpeed ZeRO-3) mueve los propios pesos. Por PCIe sin peer-to-peer, como en la 4090, cuatro tarjetas pueden rendir solo como dos o tres. En una máquina H100 SXM o A100 SXM, la red NVLink permite que ocho tarjetas escalen mucho más cerca de ocho veces una tarjeta.

Así que la regla para trabajar con varias GPU: tarjetas de consumo para inferencia y entrenamientos pequeños con paralelismo de datos, y tarjetas SXM de centro de datos para entrenar en serio. El nombre de la máquina en el catálogo te dice cuál te toca: «SXM» o «SXM4» en el nombre significa que las tarjetas van en una placa hecha para NVLink, y después de lanzar, nvidia-smi topo -m muestra cómo están conectadas en realidad.

Una forma rápida de elegir

• Tu modelo cabe en 24 GB: alquila una 4090. Es la más barata por imagen y por LoRA, y lo bastante rápida para chatear.
• Necesita 32–48 GB: mira la RTX 5090 y las tarjetas de 48 GB antes de saltar a 80 GB.
• Necesita 80 GB y puedes esperar: la A100 da más memoria por euro.
• Necesita 80 GB y la velocidad importa, o necesitas fp8: la H100.
• Necesita más de 80 GB en una sola tarjeta: la H200 (141 GB) o la B200 (192 GB), o varias tarjetas.

La facturación es por minuto tras un mínimo de 15 minutos, así que una prueba en la tarjeta grande cuesta poco. Ejecutar el mismo trabajo corto en dos tarjetas y comparar los minutos es el benchmark más fiable que puedes tener para tu propia carga de trabajo. La página de la H100 muestra las máquinas disponibles ahora mismo, junto a la A100 y otras tarjetas de la misma gama.