da 24 GBChat
ChatGPT privato · Qwen3 32B
Una chat nel browser per testi, codice e documenti. Niente abbonamenti e nessun limite di messaggi.
da 0,30 €/ora · RTX 3090, 24 GB
Modelli IA · vLLM
vLLM su una GPU a noleggio: la tua API per LLM
Un modello 8B in FP16 richiede circa 19 GB, quindi una scheda da 24 GB. Un 32B in AWQ occupa circa 23 GB e un 70B in AWQ circa 50 GB su una o più schede. vLLM gestisce molte richieste insieme ed espone un’API compatibile con OpenAI, per questo si usa per chatbot, RAG e servizi con utenti reali.
- App
- vLLM
- GPU
- RTX 3060, 12 GB
- Prezzo
- da 0,12 €/ora
Per avviare, il credito deve coprire un’ora di utilizzo della macchina. Paghi al minuto solo l’uso effettivo.
da 6 GBdi memoria video
2–5 minutiper avere il server pronto
Al minutoaddebitato sul tuo credito
SSH e Jupyteraccesso al server
Quanta memoria serve e quale GPU scegliere
vLLM 8B in FP16 occupa circa 6 GB di memoria video a 4 bit; la scheda adatta più economica è la RTX 3060. I prezzi si aggiornano in base alle macchine disponibili nel catalogo quando apri la pagina.
| Versione | FP16 | 4 bit | GPU adattaGPU | Prezzo all’oraAll’ora |
|---|---|---|---|---|
| vLLM 8B in FP16 | 18 GB | 6 GB | RTX 3060 | 0,12 € |
| vLLM 32B in AWQ (4 bit) | 71 GB | 22 GB | 2× RTX 3060 | 0,24 € |
| vLLM 70B in AWQ (4 bit) | 154 GB | 47 GB | 4× RTX 4060 Ti | 0,64 € |
Stima: FP16 ≈ 2 GB per miliardo di parametri, 4 bit ≈ 0,6 GB, più il 10% per il contesto. Scelta: la configurazione più economica con memoria sufficiente; per i modelli grandi significa più schede identiche. Tutte le GPU e i prezzi
Come avviare vLLM in 3 passaggi
- Registrati e ricarica. Crea un account e ricarica da 10 €. Per avviare, il credito deve coprire almeno un’ora di utilizzo della macchina scelta; poi paghi al minuto.
- Scegli una GPU. La memoria per ogni versione è nella tabella qui sopra, e la più leggera gira già con 6 GB. Il pulsante in questa pagina seleziona l’opzione più economica con il template vLLM.
- Avvia il modello. Il server è pronto in 2–5 minuti. Apri Jupyter nel browser o collegati via SSH ed esegui i comandi qui sotto.
Hai finito? Ferma il server dalla dashboard e la fatturazione si ferma. Salva e ferma conserva /workspace a 0,03 € per GB al mese, e la cartella torna in automatico sul tuo prossimo server.
Avvia il server
pip install vllm
vllm serve Qwen/Qwen2.5-7B-Instruct --host 0.0.0.0 --port 8000
# API: http://<address>:8000/v1/chat/completions
Per cosa si usa vLLM
01
Un chatbot sotto carico reale
Decine di utenti contemporaneamente: vLLM raggruppa le loro richieste e mantiene stabili i tempi di risposta.
02
RAG e agenti
Un tuo endpoint /v1/chat/completions per LangChain, LlamaIndex e qualsiasi client dell’SDK di OpenAI.
03
Elaborazione in batch
Etichettare, tradurre e riassumere migliaia di documenti in un solo noleggio, invece di pagare a token.
Consigli prima dell’avvio
- L’opzione --max-model-len limita il contesto e fa risparmiare memoria.
- Per un 70B su due schede usa --tensor-parallel-size 2.
Ti serve solo una chat? Un’app pronta, senza configurazione
Se il modello ti serve per conversare e non vuoi scrivere codice, avvia ChatGPT privato: il server arriva con Ollama, un modello Qwen3 e la chat Open WebUI nel browser.
Domande frequenti
vLLM è compatibile con l’SDK di OpenAI?
Sì. Imposta base_url sul tuo server e il tuo codice client resta invariato.
Quanto ci vuole per l’avvio?
Di solito il server è pronto in 2–5 minuti, poi sono disponibili SSH e Jupyter. Il download del modello dipende dalle sue dimensioni e viene fatturato come normale tempo di server.
Cosa succede ai miei modelli e ai risultati quando fermo il server?
Quando lo fermi, clicca Salva e ferma: la cartella /workspace con modelli, LoRA e risultati va in archivio a 0,03 € per GB al mese e torna in automatico sul tuo prossimo server. Se fermi senza salvare, il disco viene eliminato.
Come funziona la fatturazione?
Al minuto, dal tuo credito in euro. Ricarica da 10 €; per avviare, il credito deve coprire almeno un’ora di utilizzo della macchina scelta. Fermi il server e la fatturazione si ferma.
Di solito un server è pronto in 2–5 minuti
Registrati in un minuto, ricarica da 10 € e paga al minuto. Fermi il server e la fatturazione si ferma.