VRAMfarm-Logo VRAMfarm
DE
Registrieren
KI-Modelle ausführen · Ollama

Ollama auf einer gemieteten GPU

Modelle bis 14B laufen in Ollama auf einer 12-GB-Karte, 32B passt in 24 GB, und 70B braucht etwa 50 GB. Ein einziger Befehl lädt ein Modell herunter, das dann im Terminal oder über die API auf Port 11434 antwortet. Die fertige App „Private ChatGPT“ installiert Ollama zusammen mit dem Chatfenster Open WebUI.

App
PyTorch
GPU
RTX 3060, 12 GB
Preis
ab 0,12 €/Std.

Zum Starten muss Ihr Guthaben eine Stunde Laufzeit der Maschine abdecken. Abgerechnet wird minutengenau nach tatsächlicher Nutzung.

Sie brauchen nur einen Chat? Die fertige App „Private ChatGPT“

Gläser mit leuchtenden Modellen im Regal; aus einem fließt das Modell in eine Grafikkarte
ab 6 GBGrafikspeicher
2–5 Minutenbis der Server läuft
Minutengenauvom Guthaben abgerechnet
SSH und JupyterZugang zum Server

Wie viel Speicher Sie brauchen und welche GPU passt

Bis 8B belegt in 4 Bit etwa 6 GB Grafikspeicher, die günstigste passende Karte ist die RTX 3060. Die Preise werden beim Öffnen der Seite aus den verfügbaren Maschinen im Katalog aktualisiert.

VersionFP164 BitPassende GPUGPUPreis pro StundePro Std.
Bis 8B 18 GB6 GB RTX 3060 0,12 €
Ollama 14B 31 GB10 GB RTX 3060 0,12 €
Ollama 32B 71 GB22 GB 2× RTX 3060 0,24 €
Ollama 70B 154 GB47 GB 4× RTX 4060 Ti 0,64 €

Schätzung: FP16 ≈ 2 GB pro Milliarde Parameter, 4 Bit ≈ 0,6 GB, dazu 10 % für den Kontext. Auswahl: die günstigste Konfiguration mit genug Speicher; bei großen Modellen sind das mehrere gleiche Karten. Alle GPUs und Preise

Ollama in 3 Schritten starten

  1. Registrieren und aufladen. Erstellen Sie ein Konto und laden Sie ab 10 € auf. Zum Starten muss Ihr Guthaben mindestens eine Stunde der gewählten Maschine abdecken, danach zahlen Sie minutengenau.
  2. GPU wählen. Den Speicherbedarf jeder Version zeigt die Tabelle oben, die kleinste läuft ab 6 GB. Die Schaltfläche auf dieser Seite wählt die günstigste Option mit dem Template PyTorch.
  3. Modell ausführen. Der Server ist in 2–5 Minuten bereit. Öffnen Sie Jupyter im Browser oder verbinden Sie sich per SSH und führen Sie die Befehle unten aus.

Fertig? Stoppen Sie den Server im Dashboard, dann endet die Abrechnung. „Speichern und stoppen“ behält /workspace für 0,03 € pro GB und Monat, auf Ihrem nächsten Server ist der Ordner automatisch wieder da.

Installieren und starten

curl -fsSL https://ollama.com/install.sh | sh OLLAMA_HOST=0.0.0.0 ollama serve & ollama run qwen2.5:14b

Wofür Ollama eingesetzt wird

01

Mehrere Modelle ausprobieren

ollama run lädt ein Modell per Name herunter: Vergleichen Sie Qwen, Llama und DeepSeek an einem Abend mit Ihren eigenen Fragen.

02

Ein persönlicher Assistent

Ollama mit Open WebUI ergibt ein Chatfenster im Browser mit Ihrem Gesprächsverlauf.

03

Ein Backend für einen kleinen Bot

Die API auf Port 11434 lässt sich ohne weitere Einrichtung an einen Chatbot oder ein Skript anbinden.

Tipps vor dem Start

  • Ollama installiert standardmäßig 4-Bit-Versionen. Lesen Sie den Speicherbedarf daher in der 4-Bit-Spalte ab.
  • Für die Last von Dutzenden Nutzern ist vLLM die bessere Wahl.

Sie brauchen nur einen Chat? Eine fertige App ohne Einrichtung

Wenn Sie das Modell für Gespräche brauchen und keinen Code schreiben möchten, starten Sie „Private ChatGPT“: Der Server kommt mit Ollama, einem Qwen3-Modell und dem Chatfenster Open WebUI im Browser.

Häufige Fragen

Was kann ich auf einer 24-GB-Karte betreiben?

Qwen 2.5 32B, DeepSeek R1 Distill 32B oder Gemma 2 27B: Alle passen in 4 Bit.

Wie bekomme ich ein Chatfenster statt eines Terminals?

Starten Sie die fertige App „Private ChatGPT“: Der Server kommt mit Ollama, einem Qwen3-Modell und Open WebUI, das sich in Ihrem Browser öffnet.

Wie lange dauert ein Start?

Der Server ist meist in 2–5 Minuten bereit, danach stehen SSH und Jupyter zur Verfügung. Wie lange der Download des Modells dauert, hängt von seiner Größe ab; die Zeit wird als normale Serverzeit abgerechnet.

Was passiert mit meinen Modellen und Ergebnissen nach dem Stoppen?

Klicken Sie beim Stoppen auf „Speichern und stoppen“: Der Ordner /workspace mit Ihren Modellen, LoRAs und Ergebnissen wird für 0,03 € pro GB und Monat gespeichert und ist auf Ihrem nächsten Server automatisch wieder da. Wenn Sie ohne Speichern stoppen, wird die Festplatte gelöscht.

Wie wird abgerechnet?

Minutengenau von Ihrem Guthaben in Euro. Sie laden ab 10 € auf; zum Starten muss Ihr Guthaben mindestens eine Stunde der gewählten Maschine abdecken. Stoppen Sie den Server, endet die Abrechnung.

Ein Server ist meist in 2–5 Minuten bereit

In einer Minute registrieren, ab 10 € aufladen, minutengenau bezahlen. Server stoppen, Abrechnung endet.