Logotipo de VRAMfarm VRAMfarm
ES
Registrarse
Fine-tuning y entrenamiento

GPU para fine-tuning: LoRA, QLoRA y entrenamiento completo desde 0,59 € la hora

Para elegir una GPU para fine-tuning, cuenta con esto: QLoRA de un modelo de 8B cabe en una tarjeta de 16–24 GB, uno de 32B necesita 32–48 GB y uno de 70B, una tarjeta de 80 GB. LoRA con base de 16 bits necesita más o menos el doble, y el fine-tuning completo de un modelo de 8B ya ocupa una tarjeta entera de 80 GB. En VRAMfarm las tarjetas para entrenar empiezan en 0,59 € la hora, facturadas por minuto, y puedes guardar el resultado para la siguiente sesión.

Un pequeño adaptador encajando en un gran bloque de modelo sobre una tarjeta gráfica: GPU para fine-tuning con LoRA y QLoRA

Modelo más grande por método en una tarjeta

GPUMemoria QLoRA, hastaLoRA 16 bits, hastaFine-tuning completo, hasta Precio
RTX 4090 24 GB 8B8B— 0,59 €/h
RTX 5090 32 GB 32B8B— 0,76 €/h
RTX A6000 48 GB 32B8B— 0,72 €/h
L40S 48 GB 32B8B— 1,06 €/h
RTX PRO 6000 96 GB 70B32B8B 2,12 €/h
A100 80 GB 70B32B8B 1,46 €/h
H100 80 GB 70B32B8B 3,90 €/h
H200 141 GB 70B32B8B 5,43 €/h
B200 192 GB 70B70B8B 16,12 €/h

Tamaño de modelo habitual más grande por método en una tarjeta, con longitudes de secuencia típicas. El fine-tuning completo supone un optimizador de 8 bits. Más datos, secuencias más largas o lotes más grandes necesitan más memoria. Los precios son por tarjeta y hora y cambian con el mercado; el precio queda fijado al lanzar el servidor. Se factura por minuto, con un mínimo de 15 minutos.

Qué se entrena

Un LLM con tus datos

QLoRA con Unsloth, Axolotl o TRL enseña a un modelo tu estilo, tu formato o tu dominio. Para un modelo de 8B suelen bastar unos miles de ejemplos buenos.

LoRA de imagen

Un LoRA de Flux o SDXL a partir de 20–30 fotos de una persona, un producto o un estilo tarda 30–90 minutos en una tarjeta de 24 GB.

Habla y voz

Ajusta Whisper a tu acento o tu terminología, o un modelo TTS a una voz sobre la que tengas derechos.

Entrenamiento completo e investigación

Fine-tuning completo y experimentos de preentrenamiento en tarjetas de 80–192 GB, o con 2–8 tarjetas en una sola máquina con DeepSpeed o FSDP.

Memoria por método

QLoRA mantiene el modelo base en 4 bits y entrena adaptadores pequeños: alrededor de 1 GB por cada mil millones de parámetros, más las activaciones. LoRA con base de 16 bits necesita unos 2–3 GB por cada mil millones. El fine-tuning completo con AdamW necesita unos 16 bytes por parámetro para pesos, gradientes y estado del optimizador, así que incluso un 8B ronda los 130 GB; con un optimizador de 8 bits cabe en una sola tarjeta de 80 GB.

Velocidad frente a precio

Una H100 entrena varias veces más rápido que una RTX 4090 y cuesta varias veces más por hora, así que la factura del mismo trabajo suele ser parecida. Usa tarjetas más baratas de 24–48 GB para pruebas pequeñas y depuración, y pasa la ejecución final a una H100 o H200 cuando el tiempo importe.

No pierdas el resultado

Guarda los checkpoints en /workspace y elige «guardar y parar»: la carpeta pasa a tu siguiente servidor, incluso en otra tarjeta, por 0,03 € por GB al mes. Si no guardas, el disco se borra al parar el servidor.

Cuánto cuesta un fine-tuning

QLoRA de un modelo de 8B con 15 millones de tokens de entrenamiento, con Unsloth en una RTX 4090, tarda unas 2 horas y 50 minutos: alrededor de 1,65 €. QLoRA de un modelo de 70B en una H100 durante 6 horas: unos 23,40 €. El tiempo real depende de la longitud de secuencia, el tamaño de lote y el número de épocas.

Apps listas para esto

La app se instala sola con sus modelos y se abre en tu navegador. Solo pagas el tiempo de GPU.

Preguntas frecuentes

¿Qué GPU necesito para hacer fine-tuning de Llama 8B?

QLoRA funciona en una tarjeta de 16–24 GB; la RTX 4090 es una buena opción. LoRA con base de 16 bits necesita 24–32 GB. El fine-tuning completo necesita una tarjeta de 80 GB con optimizador de 8 bits, o varias tarjetas.

¿Puedo hacer fine-tuning de un modelo de 70B en una sola GPU?

Con QLoRA, sí: 45–60 GB, así que una tarjeta de 80 GB (A100, H100), o una de 48 GB con Unsloth y secuencias cortas. LoRA con base de 16 bits o fine-tuning completo de 70B necesitan varias tarjetas de 80 GB.

¿Puedo entrenar en varias GPU a la vez?

Sí. Elige en la lista de servidores una máquina con 2, 4 u 8 tarjetas iguales y usa DeepSpeed, FSDP o Accelerate. Todas las tarjetas están en la misma máquina, así que no necesitas red entre servidores.

¿Y si el entrenamiento dura toda la noche y el servidor se queda inactivo al terminar?

Contamos la carga de la GPU como uso. Unas 2 horas después de que termine el trabajo te enviamos un correo, y una hora más tarde el servidor guarda tu carpeta y se para, para que no pagues toda la noche.

Lanza un entrenamiento

Recarga desde 10 €, elige una tarjeta con memoria suficiente y conéctate por SSH o Jupyter.