Logo VRAMfarm VRAMfarm
FR
S’inscrire
Lancer des modèles d’IA · Llama

Lancer Llama 3 sur un GPU loué

Llama 3.1 8B tourne sur n’importe quelle carte de 12 Go ou plus. La version 70B demande environ 50 Go en 4 bits : une carte de centre de données ou plusieurs cartes grand public. Llama 3.1 405B s’impose quand la qualité des réponses compte avant tout. Meta publie toutes les versions en accès libre, pour des assistants, des chatbots et du RAG.

Application
PyTorch
GPU
RTX 3060, 12 Go
Prix
dès 0,12 €/h

Pour lancer, votre solde doit couvrir une heure d’utilisation de la machine. Vous êtes facturé à la minute, selon l’utilisation réelle.

Besoin d’un simple chat ? L’application prête à l’emploi ChatGPT privé

Une figurine de lama blanc à côté d’une boîte en verre pleine de cartes graphiques, deux bulles de dialogue entre eux
à partir de 2 Gode mémoire vidéo
2 à 5 minutespour que le serveur démarre
À la minutedébité sur votre solde
SSH et Jupyteraccès au serveur

Mémoire nécessaire et GPU à choisir

Llama 3.2 3B occupe environ 2 Go de mémoire vidéo en 4 bits ; l’option la moins chère qui convient est RTX 3060. Les prix sont mis à jour à partir des machines disponibles dans le catalogue à l’ouverture de la page.

VersionFP164 bitsGPU adaptéGPUPrix par heurePar heure
Llama 3.2 3B 7 Go2 Go RTX 3060 0,12 €
Llama 3.1 8B 18 Go6 Go RTX 3060 0,12 €
Llama 3.3 70B 154 Go47 Go 4× RTX 4060 Ti 0,64 €
Llama 3.1 405B 892 Go268 Go 8× L40 3,68 €

Estimation : FP16 ≈ 2 Go par milliard de paramètres, 4 bits ≈ 0,6 Go, plus 10 % pour le contexte. Choix : la configuration la moins chère avec assez de mémoire ; pour les grands modèles, cela signifie plusieurs cartes identiques. Tous les GPU et leurs prix

Comment lancer Llama en 3 étapes

  1. Inscrivez-vous et rechargez . Créez un compte et rechargez à partir de 10 €. Pour lancer, votre solde doit couvrir au moins une heure d’utilisation de la machine choisie ; ensuite, vous payez à la minute.
  2. Choisissez un GPU . La mémoire de chaque version figure dans le tableau ci-dessus, et la plus légère tourne à partir de 2 Go. Le bouton de cette page sélectionne l’option la moins chère avec PyTorch.
  3. Lancez le modèle . Le serveur est prêt en 2 à 5 minutes. Ouvrez Jupyter dans votre navigateur ou connectez-vous en SSH, puis lancez les commandes ci-dessous.

Terminé ? Arrêtez le serveur dans le tableau de bord et la facturation s’arrête. « Enregistrer et arrêter » conserve /workspace pour 0,03 € par Go et par mois, et le dossier revient automatiquement sur votre prochain serveur.

Avec Ollama (le plus simple)

curl -fsSL https://ollama.com/install.sh | sh ollama run llama3.1:8b

Avec vLLM

pip install vllm vllm serve meta-llama/Llama-3.1-8B-Instruct

À quoi sert Llama

01

Un assistant pour votre équipe

Un chat capable de lire vos documents internes grâce au RAG. Llama 8B répond vite ; le 70B est plus précis sur les questions difficiles.

02

Un modèle affiné pour une tâche

QLoRA pour le 8B tient dans 16 à 24 Go : apprenez au modèle votre ton, le vocabulaire de votre entreprise ou un format de sortie.

03

Traitement de textes en masse

Classement de tickets, résumés d’avis, annotation de datasets. vLLM regroupe les requêtes et occupe la carte à plein.

Conseils avant le lancement

  • Pour un service web avec des dizaines d’utilisateurs, prenez vLLM : il regroupe les requêtes et tire le maximum de la carte.
  • La version 3.3 70B en 4 bits tient dans 48 Go, et une RTX A6000 coûte moins cher que deux 4090.
  • Pour affiner le modèle 8B, QLoRA sur 16 à 24 Go suffit.

Besoin d’un simple chat ? Une application prête à l’emploi, sans configuration

Si vous voulez utiliser le modèle pour discuter sans écrire de code, lancez ChatGPT privé : le serveur est livré avec Ollama, un modèle Qwen3 et la fenêtre de chat Open WebUI dans votre navigateur.

Questions fréquentes

Combien de mémoire faut-il pour Llama 3.1 8B ?

Environ 19 Go en FP16 et 6 Go en 4 bits, avec de la marge pour le contexte. Une RTX 3090 ou 4090 est confortable.

Quel GPU choisir pour la version 70B ?

En 4 bits, 48 Go : une RTX A6000, une L40S ou deux cartes de 24 Go. En FP16, environ 160 Go : 2× H100 ou H200.

Faut-il une licence à part ?

Les modèles sont publiés sous la licence de Meta : l’usage commercial est autorisé, avec des restrictions pour les très grands services. Lisez les conditions sur la page du modèle.

Combien de temps prend un lancement ?

Le serveur est généralement prêt en 2 à 5 minutes ; SSH et Jupyter sont alors disponibles. Le téléchargement du modèle dépend de sa taille et il est facturé comme du temps serveur normal.

Que deviennent mes modèles et résultats après l’arrêt ?

Au moment d’arrêter, cliquez sur Enregistrer et arrêter : le dossier /workspace avec vos modèles, LoRA et résultats est stocké pour 0,03 € par Go et par mois et revient automatiquement sur votre prochain serveur. Si vous arrêtez sans enregistrer, le disque est supprimé.

Comment est-ce facturé ?

À la minute, sur votre solde en euros. Rechargez à partir de 10 € ; pour lancer, votre solde doit couvrir au moins une heure d’utilisation de la machine choisie. Arrêtez le serveur et la facturation s’arrête.

Un serveur est généralement prêt en 2 à 5 minutes

Inscrivez-vous en une minute, rechargez dès 10 €, payez à la minute. Arrêtez le serveur et la facturation s’arrête.