dès 24 GoChat
ChatGPT privé · Qwen3 32B
Un chat dans votre navigateur pour la rédaction, le code et les documents. Sans abonnement ni limite de messages.
dès 0,30 €/h · RTX 3090, 24 Go
Lancer des modèles d’IA · vLLM
vLLM sur un GPU loué : votre propre API LLM
Un modèle 8B en FP16 demande environ 19 Go, donc une carte de 24 Go. Un 32B en AWQ occupe environ 23 Go, et un 70B en AWQ environ 50 Go, sur une ou plusieurs cartes. vLLM traite de nombreuses requêtes en parallèle et expose une API compatible OpenAI : c’est pourquoi on l’utilise pour des chatbots, du RAG et des services avec de vrais utilisateurs.
- Application
- vLLM
- GPU
- RTX 3060, 12 Go
- Prix
- dès 0,12 €/h
Pour lancer, votre solde doit couvrir une heure d’utilisation de la machine. Vous êtes facturé à la minute, selon l’utilisation réelle.
Besoin d’un simple chat ? L’application prête à l’emploi ChatGPT privé
à partir de 6 Gode mémoire vidéo
2 à 5 minutespour que le serveur démarre
À la minutedébité sur votre solde
SSH et Jupyteraccès au serveur
Mémoire nécessaire et GPU à choisir
vLLM 8B en FP16 occupe environ 6 Go de mémoire vidéo en 4 bits ; l’option la moins chère qui convient est RTX 3060. Les prix sont mis à jour à partir des machines disponibles dans le catalogue à l’ouverture de la page.
| Version | FP16 | 4 bits | GPU adaptéGPU | Prix par heurePar heure |
|---|---|---|---|---|
| vLLM 8B en FP16 | 18 Go | 6 Go | RTX 3060 | 0,12 € |
| vLLM 32B en AWQ (4 bits) | 71 Go | 22 Go | 2× RTX 3060 | 0,24 € |
| vLLM 70B en AWQ (4 bits) | 154 Go | 47 Go | 4× RTX 4060 Ti | 0,64 € |
Estimation : FP16 ≈ 2 Go par milliard de paramètres, 4 bits ≈ 0,6 Go, plus 10 % pour le contexte. Choix : la configuration la moins chère avec assez de mémoire ; pour les grands modèles, cela signifie plusieurs cartes identiques. Tous les GPU et leurs prix
Comment lancer vLLM en 3 étapes
- Inscrivez-vous et rechargez . Créez un compte et rechargez à partir de 10 €. Pour lancer, votre solde doit couvrir au moins une heure d’utilisation de la machine choisie ; ensuite, vous payez à la minute.
- Choisissez un GPU . La mémoire de chaque version figure dans le tableau ci-dessus, et la plus légère tourne à partir de 6 Go. Le bouton de cette page sélectionne l’option la moins chère avec vLLM.
- Lancez le modèle . Le serveur est prêt en 2 à 5 minutes. Ouvrez Jupyter dans votre navigateur ou connectez-vous en SSH, puis lancez les commandes ci-dessous.
Terminé ? Arrêtez le serveur dans le tableau de bord et la facturation s’arrête. « Enregistrer et arrêter » conserve /workspace pour 0,03 € par Go et par mois, et le dossier revient automatiquement sur votre prochain serveur.
Démarrer le serveur
pip install vllm
vllm serve Qwen/Qwen2.5-7B-Instruct --host 0.0.0.0 --port 8000
# API: http://<address>:8000/v1/chat/completions
À quoi sert vLLM
01
Un chatbot sous vraie charge
Des dizaines d’utilisateurs à la fois : vLLM regroupe leurs requêtes et garde des temps de réponse stables.
02
RAG et agents
Votre propre endpoint /v1/chat/completions pour LangChain, LlamaIndex et tout client du SDK OpenAI.
03
Traitement par lots
Annoter, traduire et résumer des milliers de documents en une seule location, au lieu de payer au token.
Conseils avant le lancement
- L’option --max-model-len limite le contexte et économise de la mémoire.
- Pour un 70B sur deux cartes, utilisez --tensor-parallel-size 2.
Besoin d’un simple chat ? Une application prête à l’emploi, sans configuration
Si vous voulez utiliser le modèle pour discuter sans écrire de code, lancez ChatGPT privé : le serveur est livré avec Ollama, un modèle Qwen3 et la fenêtre de chat Open WebUI dans votre navigateur.
Questions fréquentes
vLLM est-il compatible avec le SDK OpenAI ?
Oui. Faites pointer base_url vers votre serveur, et votre code client reste le même.
Combien de temps prend un lancement ?
Le serveur est généralement prêt en 2 à 5 minutes ; SSH et Jupyter sont alors disponibles. Le téléchargement du modèle dépend de sa taille et il est facturé comme du temps serveur normal.
Que deviennent mes modèles et résultats après l’arrêt ?
Au moment d’arrêter, cliquez sur Enregistrer et arrêter : le dossier /workspace avec vos modèles, LoRA et résultats est stocké pour 0,03 € par Go et par mois et revient automatiquement sur votre prochain serveur. Si vous arrêtez sans enregistrer, le disque est supprimé.
Comment est-ce facturé ?
À la minute, sur votre solde en euros. Rechargez à partir de 10 € ; pour lancer, votre solde doit couvrir au moins une heure d’utilisation de la machine choisie. Arrêtez le serveur et la facturation s’arrête.
Un serveur est généralement prêt en 2 à 5 minutes
Inscrivez-vous en une minute, rechargez dès 10 €, payez à la minute. Arrêtez le serveur et la facturation s’arrête.