da 24 GBChat
ChatGPT privato · Qwen3 32B
Una chat nel browser per testi, codice e documenti. Niente abbonamenti e nessun limite di messaggi.
da 0,30 €/ora · RTX 3090, 24 GB
Modelli IA · Llama
Avvia Llama 3 su una GPU a noleggio
Llama 3.1 8B gira su qualsiasi scheda da 12 GB in su. La versione 70B richiede circa 50 GB a 4 bit: una scheda da data center o più schede consumer. Llama 3.1 405B è per quando la qualità delle risposte conta più di tutto. Meta pubblica tutte le versioni apertamente, per assistenti, chatbot e RAG.
- App
- PyTorch
- GPU
- RTX 3060, 12 GB
- Prezzo
- da 0,12 €/ora
Per avviare, il credito deve coprire un’ora di utilizzo della macchina. Paghi al minuto solo l’uso effettivo.
da 2 GBdi memoria video
2–5 minutiper avere il server pronto
Al minutoaddebitato sul tuo credito
SSH e Jupyteraccesso al server
Quanta memoria serve e quale GPU scegliere
Llama 3.2 3B occupa circa 2 GB di memoria video a 4 bit; la scheda adatta più economica è la RTX 3060. I prezzi si aggiornano in base alle macchine disponibili nel catalogo quando apri la pagina.
| Versione | FP16 | 4 bit | GPU adattaGPU | Prezzo all’oraAll’ora |
|---|---|---|---|---|
| Llama 3.2 3B | 7 GB | 2 GB | RTX 3060 | 0,12 € |
| Llama 3.1 8B | 18 GB | 6 GB | RTX 3060 | 0,12 € |
| Llama 3.3 70B | 154 GB | 47 GB | 4× RTX 4060 Ti | 0,64 € |
| Llama 3.1 405B | 892 GB | 268 GB | 8× L40 | 3,68 € |
Stima: FP16 ≈ 2 GB per miliardo di parametri, 4 bit ≈ 0,6 GB, più il 10% per il contesto. Scelta: la configurazione più economica con memoria sufficiente; per i modelli grandi significa più schede identiche. Tutte le GPU e i prezzi
Come avviare Llama in 3 passaggi
- Registrati e ricarica. Crea un account e ricarica da 10 €. Per avviare, il credito deve coprire almeno un’ora di utilizzo della macchina scelta; poi paghi al minuto.
- Scegli una GPU. La memoria per ogni versione è nella tabella qui sopra, e la più leggera gira già con 2 GB. Il pulsante in questa pagina seleziona l’opzione più economica con il template PyTorch.
- Avvia il modello. Il server è pronto in 2–5 minuti. Apri Jupyter nel browser o collegati via SSH ed esegui i comandi qui sotto.
Hai finito? Ferma il server dalla dashboard e la fatturazione si ferma. Salva e ferma conserva /workspace a 0,03 € per GB al mese, e la cartella torna in automatico sul tuo prossimo server.
Con Ollama (il modo più semplice)
curl -fsSL https://ollama.com/install.sh | sh
ollama run llama3.1:8b
Con vLLM
pip install vllm
vllm serve meta-llama/Llama-3.1-8B-Instruct
Per cosa si usa Llama
01
Un assistente per il tuo team
Una chat che legge i documenti interni tramite RAG. Llama 8B risponde in fretta; il 70B è più preciso sulle domande difficili.
02
Fine-tuning per un compito
QLoRA per l’8B sta in 16–24 GB: insegna al modello il tuo tono, i termini dell’azienda o un formato di output.
03
Elaborare testi in blocco
Classificazione di ticket, riassunti di recensioni, etichettatura di dataset. vLLM raggruppa le richieste e tiene la scheda sempre occupata.
Consigli prima dell’avvio
- Per un servizio web con decine di utenti usa vLLM: raggruppa le richieste e sfrutta al massimo la scheda.
- La versione 3.3 70B a 4 bit sta in 48 GB, e una RTX A6000 costa meno di due 4090.
- Per il fine-tuning del modello 8B bastano QLoRA e 16–24 GB.
Ti serve solo una chat? Un’app pronta, senza configurazione
Se il modello ti serve per conversare e non vuoi scrivere codice, avvia ChatGPT privato: il server arriva con Ollama, un modello Qwen3 e la chat Open WebUI nel browser.
da 12 GBChat
ChatGPT privato · Qwen3 8B
Una chat veloce su una scheda economica: bozze di email, traduzioni, risposte rapide.
da 0,12 €/ora · RTX 3060, 12 GB
Domande frequenti
Quanta memoria serve a Llama 3.1 8B?
Circa 19 GB in FP16 e 6 GB a 4 bit, con spazio per il contesto. Una RTX 3090 o 4090 va più che bene.
Quale GPU scelgo per la versione 70B?
A 4 bit, 48 GB: una RTX A6000, una L40S o due schede da 24 GB. In FP16 circa 160 GB: 2× H100 o H200.
Serve una licenza a parte?
I modelli sono rilasciati con la licenza di Meta: l’uso commerciale è consentito, con limitazioni per i servizi molto grandi. Leggi le condizioni nella pagina del modello.
Quanto ci vuole per l’avvio?
Di solito il server è pronto in 2–5 minuti, poi sono disponibili SSH e Jupyter. Il download del modello dipende dalle sue dimensioni e viene fatturato come normale tempo di server.
Cosa succede ai miei modelli e ai risultati quando fermo il server?
Quando lo fermi, clicca Salva e ferma: la cartella /workspace con modelli, LoRA e risultati va in archivio a 0,03 € per GB al mese e torna in automatico sul tuo prossimo server. Se fermi senza salvare, il disco viene eliminato.
Come funziona la fatturazione?
Al minuto, dal tuo credito in euro. Ricarica da 10 €; per avviare, il credito deve coprire almeno un’ora di utilizzo della macchina scelta. Fermi il server e la fatturazione si ferma.
Di solito un server è pronto in 2–5 minuti
Registrati in un minuto, ricarica da 10 € e paga al minuto. Fermi il server e la fatturazione si ferma.