desde 24 GBChat
ChatGPT privado · Qwen3 32B
Un chat en tu navegador para textos, código y documentos. Sin suscripciones ni límite de mensajes.
desde 0,30 €/h · RTX 3090, 24 GB
Ejecutar modelos de IA · vLLM
vLLM en una GPU alquilada: tu propia API de LLM
Un modelo de 8B en FP16 necesita unos 19 GB, es decir, una tarjeta de 24 GB. Uno de 32B en AWQ ocupa unos 23 GB, y uno de 70B en AWQ unos 50 GB en una o varias tarjetas. vLLM atiende muchas peticiones a la vez y ofrece una API compatible con OpenAI, por eso se usa para chatbots, RAG y servicios con usuarios reales.
- App
- vLLM
- GPU
- RTX 3060, 12 GB
- Precio
- desde 0,12 €/h
Para lanzar, tu saldo debe cubrir una hora de la máquina. Se factura por minuto según el uso real.
¿Solo necesitas un chat? La app lista para usar ChatGPT privado
desde 6 GBde memoria de vídeo
2–5 minutoshasta que el servidor está listo
Por minutose cobra de tu saldo
SSH y Jupyteracceso al servidor
Cuánta memoria necesitas y qué GPU elegir
vLLM 8B en FP16 ocupa unos 6 GB de memoria de vídeo en 4 bits; la tarjeta adecuada más barata es RTX 3060. Los precios se actualizan con las máquinas disponibles del catálogo al abrir la página.
| Versión | FP16 | 4 bits | GPU adecuadaGPU | Precio por horaPor hora |
|---|---|---|---|---|
| vLLM 8B en FP16 | 18 GB | 6 GB | RTX 3060 | 0,12 € |
| vLLM 32B en AWQ (4 bits) | 71 GB | 22 GB | 2× RTX 3060 | 0,24 € |
| vLLM 70B en AWQ (4 bits) | 154 GB | 47 GB | 4× RTX 4060 Ti | 0,64 € |
Estimación: FP16 ≈ 2 GB por cada mil millones de parámetros, 4 bits ≈ 0,6 GB, más un 10 % para el contexto. Selección: la configuración más barata con memoria suficiente; en modelos grandes, eso significa varias tarjetas iguales. Todas las GPU y precios
Cómo ejecutar vLLM en 3 pasos
- Regístrate y recarga. Crea una cuenta y recarga desde 10 €. Para lanzar, tu saldo debe cubrir al menos una hora de la máquina elegida; después pagas por minuto.
- Elige una GPU. La memoria de cada versión está en la tabla de arriba, y la más ligera funciona desde 6 GB. El botón de esta página selecciona la opción más barata con la plantilla vLLM.
- Ejecuta el modelo. El servidor está listo en 2–5 minutos. Abre Jupyter en tu navegador o conéctate por SSH y ejecuta los comandos de abajo.
¿Has terminado? Detén el servidor en el panel y se deja de facturar. Guardar y detener conserva /workspace por 0,03 € por GB al mes, y la carpeta vuelve automáticamente en tu siguiente servidor.
Iniciar el servidor
pip install vllm
vllm serve Qwen/Qwen2.5-7B-Instruct --host 0.0.0.0 --port 8000
# API: http://<address>:8000/v1/chat/completions
Para qué se usa vLLM
01
Un chatbot con carga real
Decenas de usuarios a la vez: vLLM agrupa sus peticiones y mantiene estables los tiempos de respuesta.
02
RAG y agentes
Tu propio endpoint /v1/chat/completions para LangChain, LlamaIndex y cualquier cliente del SDK de OpenAI.
03
Procesamiento por lotes
Etiquetar, traducir y resumir miles de documentos en un solo alquiler, en lugar de pagar por token.
Consejos antes de lanzar
- La opción --max-model-len limita el contexto y ahorra memoria.
- Para 70B en dos tarjetas, usa --tensor-parallel-size 2.
¿Solo necesitas un chat? Una app lista para usar, sin configurar nada
Si necesitas el modelo para conversar y no quieres escribir código, lanza ChatGPT privado: el servidor trae Ollama, un modelo Qwen3 y la ventana de chat Open WebUI en tu navegador.
Preguntas frecuentes
¿vLLM es compatible con el SDK de OpenAI?
Sí. Apunta base_url a tu servidor y tu código cliente sigue igual.
¿Cuánto tarda un lanzamiento?
El servidor suele estar listo en 2–5 minutos y entonces ya tienes SSH y Jupyter. La descarga del modelo depende de su tamaño y se factura como tiempo normal de servidor.
¿Qué pasa con mis modelos y resultados cuando detengo el servidor?
Al detenerlo, pulsa Guardar y detener: la carpeta /workspace con tus modelos, LoRA y resultados pasa al almacenamiento por 0,03 € por GB al mes y vuelve automáticamente en tu siguiente servidor. Si lo detienes sin guardar, el disco se elimina.
¿Cómo se factura?
Por minuto, desde tu saldo en euros. Recarga desde 10 €; para lanzar, tu saldo debe cubrir al menos una hora de la máquina elegida. Detienes el servidor y se deja de facturar.
Un servidor suele estar listo en 2–5 minutos
Regístrate en un minuto, recarga desde 10 € y paga por minuto. Detienes el servidor y se deja de facturar.