Noleggio GPU per LLM: il tuo modello da 0,30 € l’ora
Nel noleggio GPU per LLM la scheda si sceglie in base al modello: una da 24 GB (RTX 3090 o 4090) fa girare modelli fino a circa 32B parametri a 4 bit, una da 48 GB regge un 70B a 4 bit con un contesto normale, e le schede da 80 GB (A100, H100) reggono il 70B con contesti lunghi o molti utenti. Su VRAMfarm si parte da 0,30 € l’ora, con fatturazione al minuto, e con vLLM hai un’API compatibile con OpenAI in pochi minuti.
Quale modello entra e quanto è veloce a rispondere
| GPU | Memoria | Modello più grande, 4 bit | 8B, token/s | 32B, token/s | 70B, token/s | Prezzo |
|---|---|---|---|---|---|---|
| RTX 3090 | 24 GB | 36B | ~117 | ~29 | — | 0,30 €/ora |
| RTX 4090 | 24 GB | 36B | ~126 | ~32 | — | 0,59 €/ora |
| RTX 5090 | 32 GB | 48B | ~224 | ~56 | — | 0,76 €/ora |
| RTX A6000 | 48 GB | 72B | ~96 | ~24 | ~11 | 0,72 €/ora |
| L40S | 48 GB | 72B | ~108 | ~27 | ~12 | 1,06 €/ora |
| RTX PRO 6000 | 96 GB | 145B | ~224 | ~56 | ~26 | 2,12 €/ora |
| A100 | 80 GB | 121B | ~255 | ~64 | ~29 | 1,46 €/ora |
| H100 | 80 GB | 121B | ~419 | ~105 | ~48 | 3,90 €/ora |
| H200 | 141 GB | 213B | ~600 | ~150 | ~69 | 5,43 €/ora |
| B200 | 192 GB | 290B | ~1000 | ~250 | ~114 | 16,12 €/ora |
Token al secondo per una singola richiesta con un modello a 4 bit: banda di memoria ÷ dimensione dei pesi, con un fattore 0,6 per le perdite reali. “—”: il modello non entra in una sola scheda lasciando spazio al contesto. Con richieste parallele in vLLM il throughput totale è parecchie volte più alto. I prezzi sono per una scheda all’ora e seguono il mercato; il prezzo si blocca quando avvii il server. La fatturazione è al minuto, con un minimo di 15 minuti.
Per cosa si usano gli LLM
Un’API per il tuo prodotto
vLLM espone un endpoint compatibile con OpenAI: cambi la base URL nel codice e il resto rimane com’è. Il continuous batching gestisce decine di richieste insieme su una sola scheda.
Un ChatGPT privato per il team
La nostra chat pronta fa girare Qwen3 o MiMo nel tuo browser. Prompt e file restano sul tuo server e non arrivano mai a un’API di terzi.
Lavori batch
Classifica, riassumi o traduci un milione di testi in una notte. Avvia la scheda quando la coda si riempie, fermala quando è vuota e paghi solo quelle ore.
Modelli grandi e nuovi
Quando esce un nuovo modello open, puoi provarlo il giorno stesso su 80–192 GB senza comprare hardware: 70B con contesto lungo, modelli mixture-of-experts, più schede con tensor parallel.
Quanta memoria serve a un modello
I pesi occupano circa 2 GB per miliardo di parametri in FP16, 1 GB a 8 bit e 0,6 GB a 4 bit (AWQ, GPTQ, GGUF Q4). Aggiungi lo spazio per la KV cache, che cresce con la lunghezza del contesto e con il numero di richieste parallele, più un 10–15% per i buffer. Quindi un modello 8B a 4 bit richiede circa 6 GB, un 32B circa 22 GB e un 70B circa 43 GB, contesto escluso. Il calcolatore VRAM fa il conto per il tuo modello.
Velocità: conta soprattutto la banda di memoria
Quando chatta una sola persona, ogni token legge l’intero modello dalla memoria, quindi la velocità dipende più dalla banda di memoria che dalla potenza di calcolo. Per questo una RTX 3090 e una 4090 generano a velocità simili con lo stesso modello, mentre una H100 con HBM3 è circa tre volte più veloce. Sotto carico le cose cambiano: vLLM raggruppa le richieste e la potenza di calcolo comincia a contare.
vLLM, Ollama o llama.cpp
vLLM è pensato per servire molti utenti tramite API. Ollama e llama.cpp sono più semplici per una persona sola e usano file GGUF, anche su schede con meno memoria. Tutti e tre sono disponibili su un server pulito; Ollama e vLLM hanno anche le loro pagine di configurazione.
Quanto costa un mese di API privata
Un’API con Qwen3 32B su una RTX 4090 per 8 ore lavorative al giorno, 22 giorni al mese: 176 ore, circa 103,84 €. Accesa giorno e notte, circa 424,80 € al mese. Confronta la cifra con quanto spendi ogni mese di API al tuo volume di token: con qualche centinaio di richieste al giorno un’API a pagamento di solito costa meno; con un carico costante spesso vince il tuo modello.
Guide sull’argomento
12 novembre 2026 Llama 70B su una sola GPU: 4 bit o FP8, 48 GB o 80 GB, e le velocità reali
Llama 3.3 70B a 4 bit pesa 40–43 GB: una scheda da 48 GB con 8–16k di contesto, 80 GB per documenti lunghi o più utenti. Formati, comandi, token/s.
12 novembre 2026 vLLM vs Ollama vs llama.cpp: con quale far girare il tuo LLM, e i comandi
Ollama per una persona in cinque minuti, llama.cpp per il controllo, vLLM per un'API con molti utenti: velocità, formati, gestione della memoria e comandi di avvio.
12 novembre 2026 LLM tuo o API: quando una GPU a noleggio costa meno che pagare a token
Quattro scenari mensili in euro: un utente, un team di dieci, un bot di prodotto 24/7 e un batch da 440 milioni di token. Dove vince l'API e dove la tua GPU.
Domande frequenti
Che GPU serve per Llama 3.3 70B?
A 4 bit i pesi occupano circa 43 GB, quindi con un contesto normale basta una scheda da 48 GB (RTX A6000, L40S). Per contesti lunghi o molti utenti in parallelo prendi una scheda da 80 GB (A100, H100) o la RTX PRO 6000 da 96 GB. In FP16 il modello richiede circa 140 GB: una H200 da 141 GB è al limite, una B200 o due schede da 80 GB sono comode.
Posso dividere un modello su più GPU?
Sì. vLLM e llama.cpp distribuiscono un modello su più schede con tensor o pipeline parallelism. Nell’elenco dei server scegli una macchina con 2, 4 o 8 schede identiche.
Costa meno dell’API di OpenAI o Anthropic?
Dipende dal volume. Una scheda a noleggio costa uguale all’ora che risponda a dieci richieste o a diecimila, quindi con un carico costante il tuo modello open di solito costa meno, e i dati restano a te. Per poche richieste al giorno un’API a pagamento è più economica e più semplice.
Quanto ci vuole per partire?
Di solito il server è pronto per SSH e Jupyter in 2–5 minuti. Poi c’è il download dei pesi del modello, che dipende dalle dimensioni: un modello 32B a 4 bit pesa circa 20 GB.
Avvia il tuo modello oggi
Ricarica da 10 €, scegli una scheda e avvia vLLM, Ollama o la chat pronta.