GPU für Fine-Tuning mieten: LoRA, QLoRA und volles Training ab 0,59 € pro Stunde
Welche GPU Sie für Fine-Tuning mieten, hängt von Methode und Modellgröße ab: QLoRA eines 8B-Modells passt auf eine 16–24-GB-Karte, 32B braucht 32–48 GB und 70B eine 80-GB-Karte. LoRA mit 16-Bit-Basis braucht etwa doppelt so viel, und volles Fine-Tuning eines 8B-Modells belegt bereits eine ganze 80-GB-Karte. Bei VRAMfarm gibt es Trainingskarten ab 0,59 € pro Stunde, minutengenau abgerechnet, und das Ergebnis lässt sich für die nächste Sitzung speichern.
Größtes Modell pro Methode auf einer Karte
| GPU | Speicher | QLoRA, bis | LoRA 16 Bit, bis | Volles Fine-Tuning, bis | Preis |
|---|---|---|---|---|---|
| RTX 4090 | 24 GB | 8B | 8B | — | 0,59 €/Std. |
| RTX 5090 | 32 GB | 32B | 8B | — | 0,76 €/Std. |
| RTX A6000 | 48 GB | 32B | 8B | — | 0,72 €/Std. |
| L40S | 48 GB | 32B | 8B | — | 1,06 €/Std. |
| RTX PRO 6000 | 96 GB | 70B | 32B | 8B | 2,12 €/Std. |
| A100 | 80 GB | 70B | 32B | 8B | 1,46 €/Std. |
| H100 | 80 GB | 70B | 32B | 8B | 3,90 €/Std. |
| H200 | 141 GB | 70B | 32B | 8B | 5,43 €/Std. |
| B200 | 192 GB | 70B | 70B | 8B | 16,12 €/Std. |
Größte gängige Modellgröße pro Methode auf einer Karte, bei typischen Sequenzlängen. Volles Fine-Tuning setzt einen 8-Bit-Optimizer voraus. Mehr Daten, längere Sequenzen oder größere Batches brauchen mehr Speicher. Die Preise gelten für eine Karte pro Stunde und ändern sich mit dem Markt; beim Start wird der Preis festgeschrieben. Abgerechnet wird minutengenau, mindestens 15 Minuten.
Was trainiert wird
Ein LLM mit Ihren eigenen Daten
QLoRA mit Unsloth, Axolotl oder TRL bringt einem Modell Ihren Stil, Ihr Format oder Ihr Fachgebiet bei. Für ein 8B-Modell reichen meist einige tausend gute Beispiele.
Bild-LoRA
Ein Flux- oder SDXL-LoRA aus 20–30 Fotos einer Person, eines Produkts oder eines Stils dauert auf einer 24-GB-Karte 30–90 Minuten.
Sprache und Stimme
Feintunen Sie Whisper auf Ihren Akzent oder Ihre Fachbegriffe, oder ein TTS-Modell auf eine Stimme, an der Sie die Rechte haben.
Volles Training und Forschung
Volles Fine-Tuning und Pre-Training-Experimente auf Karten mit 80–192 GB oder auf 2–8 Karten in einer Maschine mit DeepSpeed oder FSDP.
Speicher pro Methode
QLoRA hält das Basismodell in 4 Bit und trainiert kleine Adapter: etwa 1 GB pro Milliarde Parameter plus Aktivierungen. LoRA mit 16-Bit-Basis braucht etwa 2–3 GB pro Milliarde. Volles Fine-Tuning mit AdamW braucht etwa 16 Byte pro Parameter für Gewichte, Gradienten und Optimizer-Zustand, selbst 8B liegt also bei rund 130 GB; ein 8-Bit-Optimizer bringt es auf eine 80-GB-Karte.
Tempo gegen Preis
Eine H100 trainiert um ein Mehrfaches schneller als eine RTX 4090 und kostet pro Stunde auch um ein Mehrfaches mehr, die Rechnung für denselben Job fällt daher oft ähnlich aus. Nutzen Sie günstigere 24–48-GB-Karten für kleine Läufe und Debugging und verlegen Sie den finalen Lauf auf eine H100 oder H200, wenn die Zeit drängt.
Das Ergebnis nicht verlieren
Speichern Sie Checkpoints in /workspace und wählen Sie „Speichern und stoppen“: Der Ordner zieht auf Ihren nächsten Server um, auch auf einer anderen Karte, für 0,03 € pro GB und Monat. Ohne Speichern wird die Festplatte beim Stoppen des Servers gelöscht.
Was ein Fine-Tuning kostet
QLoRA eines 8B-Modells mit 15 Millionen Trainings-Token und Unsloth auf einer RTX 4090 dauert etwa 2 Stunden 50 Minuten: rund 1,65 €. QLoRA eines 70B-Modells auf einer H100 für 6 Stunden: etwa 23,40 €. Die tatsächliche Dauer hängt von Sequenzlänge, Batchgröße und Zahl der Epochen ab.
Anleitungen zum Thema
12. November 2026 LLM feintunen: wie viel VRAM und wie viele GPUs für QLoRA, LoRA und volles Fine-Tuning
QLoRA passt mit 8B auf 16 GB und mit 70B auf eine 80-GB-Karte; volles Fine-Tuning braucht rund 16 Bytes pro Parameter. Speicher, Karten, Tools, Stunden, Kosten.
12. November 2026 Flux-LoRA mit eigenen Fotos trainieren: 20 Bilder, 24 GB und etwa zwei Stunden
Wie viele Fotos, welche Captions, ai-toolkit oder FluxGym, 24 oder 16 GB, 2.000 Schritte in 1–2,5 h auf einer RTX 4090, und was danach mit Ihren Fotos passiert.
12. November 2026 Multi-GPU-Training: DDP, FSDP und ZeRO auf einer gemieteten Maschine mit 2–8 GPUs
Wenn eine Karte nicht reicht: Daten- oder Modellparallelität, Speicher pro GPU mit FSDP und DeepSpeed ZeRO, NVLink oder PCIe, 2–8 Karten mieten, NCCL-Hänger vermeiden.
Häufige Fragen
Welche GPU brauche ich, um Llama 8B feinzutunen?
QLoRA läuft auf einer 16–24-GB-Karte, die RTX 4090 ist eine gute Wahl. LoRA mit 16-Bit-Basis braucht 24–32 GB. Volles Fine-Tuning braucht eine 80-GB-Karte mit 8-Bit-Optimizer oder mehrere Karten.
Kann ich ein 70B-Modell auf einer einzigen GPU feintunen?
Mit QLoRA ja: 45–60 GB, also eine 80-GB-Karte (A100, H100), oder 48 GB mit Unsloth und kurzen Sequenzen. LoRA mit 16-Bit-Basis oder volles Fine-Tuning von 70B braucht mehrere 80-GB-Karten.
Kann ich auf mehreren GPUs gleichzeitig trainieren?
Ja. Wählen Sie in der Serverliste eine Maschine mit 2, 4 oder 8 gleichen Karten und nutzen Sie DeepSpeed, FSDP oder Accelerate. Alle Karten stecken in einer Maschine, Sie brauchen also kein Netzwerk zwischen Servern.
Was, wenn das Training über Nacht läuft und der Server danach untätig ist?
GPU-Last zählt bei uns als Nutzung. Etwa 2 Stunden nach Ende des Jobs schicken wir Ihnen eine E-Mail, und eine Stunde später speichert der Server Ihren Ordner und stoppt, damit Sie nicht die ganze Nacht zahlen.
Training starten
Laden Sie ab 10 € auf, wählen Sie eine Karte mit genug Speicher und verbinden Sie sich per SSH oder Jupyter.