Logotipo de VRAMfarm VRAMfarm
ES
Registrarse
Ejecutar modelos de IA · Llama

Ejecuta Llama 3 en una GPU alquilada

Llama 3.1 8B funciona en cualquier tarjeta de 12 GB o más. La versión de 70B necesita unos 50 GB en 4 bits: una tarjeta de centro de datos o varias de consumo. Llama 3.1 405B es para cuando la calidad de las respuestas es lo más importante. Meta publica todas las versiones en abierto para asistentes, chatbots y RAG.

App
PyTorch
GPU
RTX 3060, 12 GB
Precio
desde 0,12 €/h

Para lanzar, tu saldo debe cubrir una hora de la máquina. Se factura por minuto según el uso real.

¿Solo necesitas un chat? La app lista para usar ChatGPT privado

Una figura de llama blanca junto a una caja de vidrio con tarjetas gráficas y dos bocadillos de diálogo entre ellas
desde 2 GBde memoria de vídeo
2–5 minutoshasta que el servidor está listo
Por minutose cobra de tu saldo
SSH y Jupyteracceso al servidor

Cuánta memoria necesitas y qué GPU elegir

Llama 3.2 3B ocupa unos 2 GB de memoria de vídeo en 4 bits; la tarjeta adecuada más barata es RTX 3060. Los precios se actualizan con las máquinas disponibles del catálogo al abrir la página.

VersiónFP164 bitsGPU adecuadaGPUPrecio por horaPor hora
Llama 3.2 3B 7 GB2 GB RTX 3060 0,12 €
Llama 3.1 8B 18 GB6 GB RTX 3060 0,12 €
Llama 3.3 70B 154 GB47 GB 4× RTX 4060 Ti 0,64 €
Llama 3.1 405B 892 GB268 GB 8× L40 3,68 €

Estimación: FP16 ≈ 2 GB por cada mil millones de parámetros, 4 bits ≈ 0,6 GB, más un 10 % para el contexto. Selección: la configuración más barata con memoria suficiente; en modelos grandes, eso significa varias tarjetas iguales. Todas las GPU y precios

Cómo ejecutar Llama en 3 pasos

  1. Regístrate y recarga. Crea una cuenta y recarga desde 10 €. Para lanzar, tu saldo debe cubrir al menos una hora de la máquina elegida; después pagas por minuto.
  2. Elige una GPU. La memoria de cada versión está en la tabla de arriba, y la más ligera funciona desde 2 GB. El botón de esta página selecciona la opción más barata con la plantilla PyTorch.
  3. Ejecuta el modelo. El servidor está listo en 2–5 minutos. Abre Jupyter en tu navegador o conéctate por SSH y ejecuta los comandos de abajo.

¿Has terminado? Detén el servidor en el panel y se deja de facturar. Guardar y detener conserva /workspace por 0,03 € por GB al mes, y la carpeta vuelve automáticamente en tu siguiente servidor.

Con Ollama (lo más fácil)

curl -fsSL https://ollama.com/install.sh | sh ollama run llama3.1:8b

Con vLLM

pip install vllm vllm serve meta-llama/Llama-3.1-8B-Instruct

Para qué se usa Llama

01

Un asistente para tu equipo

Un chat capaz de leer documentos internos mediante RAG. Llama 8B responde rápido; 70B es más preciso en preguntas difíciles.

02

Fine-tuning para una tarea

QLoRA para 8B cabe en 16–24 GB: enseña al modelo tu tono, la terminología de tu empresa o un formato de salida.

03

Procesar texto en masa

Clasificación de tickets, resúmenes de reseñas, etiquetado de datasets. vLLM agrupa las peticiones y mantiene la tarjeta a pleno rendimiento.

Consejos antes de lanzar

  • Para un servicio web con decenas de usuarios, usa vLLM: agrupa las peticiones y saca el máximo partido a la tarjeta.
  • La versión 3.3 70B en 4 bits cabe en 48 GB, y una RTX A6000 sale más barata que dos 4090.
  • Para ajustar el modelo de 8B basta QLoRA con 16–24 GB.

¿Solo necesitas un chat? Una app lista para usar, sin configurar nada

Si necesitas el modelo para conversar y no quieres escribir código, lanza ChatGPT privado: el servidor trae Ollama, un modelo Qwen3 y la ventana de chat Open WebUI en tu navegador.

Preguntas frecuentes

¿Cuánta memoria necesita Llama 3.1 8B?

Unos 19 GB en FP16 y 6 GB en 4 bits, con margen para el contexto. Una RTX 3090 o 4090 va holgada.

¿Qué GPU elijo para la versión de 70B?

En 4 bits, 48 GB: una RTX A6000, una L40S o dos tarjetas de 24 GB. En FP16, unos 160 GB: 2× H100 o H200.

¿Necesito una licencia aparte?

Los modelos se publican con la licencia de Meta: se permite el uso comercial, con restricciones para servicios muy grandes. Lee las condiciones en la página del modelo.

¿Cuánto tarda un lanzamiento?

El servidor suele estar listo en 2–5 minutos y entonces ya tienes SSH y Jupyter. La descarga del modelo depende de su tamaño y se factura como tiempo normal de servidor.

¿Qué pasa con mis modelos y resultados cuando detengo el servidor?

Al detenerlo, pulsa Guardar y detener: la carpeta /workspace con tus modelos, LoRA y resultados pasa al almacenamiento por 0,03 € por GB al mes y vuelve automáticamente en tu siguiente servidor. Si lo detienes sin guardar, el disco se elimina.

¿Cómo se factura?

Por minuto, desde tu saldo en euros. Recarga desde 10 €; para lanzar, tu saldo debe cubrir al menos una hora de la máquina elegida. Detienes el servidor y se deja de facturar.

Un servidor suele estar listo en 2–5 minutos

Regístrate en un minuto, recarga desde 10 € y paga por minuto. Detienes el servidor y se deja de facturar.