12. November 2026 · VRAMfarm-Team
Ihr eigenes privates ChatGPT: Open WebUI mit Ollama oder vLLM auf einer gemieteten GPU
Sie wollen einen Vertrag, eine Kundenliste oder unveröffentlichten Code in einen Chat einfügen und hätten lieber nicht, dass er auf den Servern eines KI-Unternehmens landet. Die Lösung ist ein offenes Modell auf einer gemieteten GPU, hinter Open WebUI, einer Chat-Oberfläche, die ganz ähnlich aussieht und funktioniert wie ChatGPT. Qwen3 8B braucht eine 12-GB-Karte, Qwen3 32B eine 24-GB-Karte, ein 70B-Modell eine 48-GB-Karte. Unsere fertige App „Private ChatGPT“ richtet die ersten beiden sowie MiMo 9B selbst ein; vom Klick auf „Starten“ bis zur ersten Antwort vergehen etwa 10 Minuten.
Die fertige App: starten, warten, chatten
Wählen Sie im Dashboard „Private ChatGPT“ und eines von drei Modellen:
- Qwen3 8B, ab einer 12-GB-Karte. Schnell, gut für Entwürfe, Umformulierungen und Fragen zu kurzen Texten.
- MiMo 9B (Xiaomi, MIT-Lizenz), ab einer 12-GB-Karte. Ähnliche Größe und Geschwindigkeit, und es versteht Bilder: Ziehen Sie einen Screenshot, das Foto eines Dokuments oder ein Diagramm hinein und stellen Sie Fragen dazu.
- Qwen3 32B, ab einer 24-GB-Karte. Spürbar klüger: längere Texte, Schlussfolgern, Code. Bei diesem Modell bleiben die meisten.
Der Server ist in 2–5 Minuten bereit, und diese Minuten sind kostenlos. Danach installiert die App Open WebUI und lädt das Modell herunter, etwa 5 GB für 8B und 20 GB für 32B. Das dauert weitere 5–10 Minuten und wird abgerechnet; die Downloads zählen als Traffic. Das Dashboard zeigt an, wann der Chat bereit ist, und die Schaltfläche „Chat“ öffnet ihn in Ihrem Browser. Öffnen Sie ihn früher, sehen Sie eine Fehlerseite, aber der Server ist nicht kaputt.
Die App ist schon abgestimmt: 8.000 Tokens Kontext mit einem 8-Bit-Cache, sodass das 32B-Modell vollständig auf einer 24-GB-Karte bleibt und etwa 30 Tokens pro Sekunde erzeugt. Das Modell wird gleich nach dem Download in den Speicher geladen, die erste Antwort muss also nicht darauf warten. Der Chat öffnet sich ohne Anmeldung, weil der Server nur Ihnen gehört; lesen Sie den Abschnitt zum Datenschutz, bevor Sie den Link weitergeben.
Qwen3-Modelle denken nach, bevor sie antworten, und Open WebUI zeigt diese Überlegungen eingeklappt über der Antwort. Schreiben Sie bei kurzen Fragen /no_think in Ihre Nachricht, dann kommt die Antwort um ein Mehrfaches schneller. Auf der Qwen3-Seite und der MiMo-Seite finden Sie Speicherwerte und Lizenzen.
Welche Karte für 8B, 32B und 70B
| Modell | Download | Kleinste Karte | Geschwindigkeit für einen Nutzer | Preis pro Stunde |
|---|---|---|---|---|
| Qwen3 8B, MiMo 9B | 5–6 GB | 12 GB: RTX 3060 | 40–55 Tokens/s | ab 0,12 € |
| Qwen3 8B auf einer schnelleren Karte | 5 GB | 16 GB: RTX 5070 Ti | 90–130 Tokens/s | ab 0,24 € |
| Qwen3 14B (selbst einrichten) | 9 GB | 16 GB: RTX 4080, RTX 5070 Ti | 45–75 Tokens/s | ab 0,31 € |
| Qwen3 32B | 20 GB | 24 GB: RTX 3090, RTX 4090 | 25–40 Tokens/s | ab 0,30 € |
| Llama 3.3 70B (selbst einrichten) | 43 GB | 48 GB: RTX A6000, L40S | 12–18 Tokens/s | ab 0,72 € |
Die Geschwindigkeiten sind Planungsspannen für 4-Bit-Modelle, abgeleitet aus der Speicherbandbreite und Berichten der Community. Alles über 8 Tokens pro Sekunde liest sich so flüssig, wie Sie mitlesen können.
Für ein 70B-Modell starten Sie die fertige App auf einer 48-GB-Karte und tauschen das Modell im Terminal aus (Jupyter → Terminal):
ollama stop qwen3:8b
ollama pull llama3.3:70bDer Download mit 43 GB wird als Traffic abgerechnet und dauert eine Weile. Laden Sie die Chat-Seite neu und wählen Sie im Modellmenü llama3.3:70b. Mit dem Kontext von 8.000 Tokens der App passt ein 70B-Modell in 48 GB; für lange Dokumente brauchen Sie eine 80-GB-Karte, wie unter ein 70B-Modell auf einer GPU betreiben erklärt.
Selbst gebaut: Open WebUI mit Ollama oder vLLM
Auf einem leeren PyTorch-Server richten Sie dasselbe mit ein paar Befehlen ein, mit jedem beliebigen Modell:
curl -fsSL https://ollama.com/install.sh | sh
OLLAMA_CONTEXT_LENGTH=8192 OLLAMA_FLASH_ATTENTION=1 OLLAMA_KV_CACHE_TYPE=q8_0 \
nohup ollama serve > /workspace/ollama.log 2>&1 &
ollama pull qwen3:14b
pip install open-webui
DATA_DIR=/workspace/open-webui OLLAMA_BASE_URL=http://127.0.0.1:11434 \
nohup open-webui serve --host 127.0.0.1 --port 3000 > /workspace/webui.log 2>&1 &Ein leerer Server veröffentlicht nur SSH und Jupyter. Öffnen Sie den Chat deshalb über einen SSH-Tunnel von Ihrem Computer aus: ssh -p <port> -L 3000:localhost:3000 root@<address>, mit Port und Adresse aus der Serverkarte, und rufen Sie dann http://localhost:3000 auf. Die Anleitung zum SSH-Schlüssel richtet den Schlüssel ein. Open WebUI speichert Chats, Nutzer und Einstellungen in DATA_DIR, deshalb zeigt es auf /workspace.
Ollama ist die richtige Engine für eine Person oder ein paar wenige. Wenn viele Leute gleichzeitig schreiben, setzen Sie stattdessen vLLM hinter Open WebUI. Es bündelt parallele Anfragen, sodass zwanzig Leute, die gleichzeitig fragen, jeweils fast mit voller Geschwindigkeit eine Antwort bekommen, während Ollama einige beantwortet und den Rest in die Warteschlange stellt. Auf einer 48-GB-Karte, wo Qwen3 32B in 4 Bit (etwa 19 GB) Platz im Cache für rund zehn Unterhaltungen mit 8.000 Tokens gleichzeitig lässt, entladen Sie das Modell aus Ollama (ollama stop <model>), starten vLLM mit einem Schlüssel und fügen es dann in Open WebUI unter Admin Panel → Settings → Connections als OpenAI-API-Verbindung mit der Adresse http://127.0.0.1:8000/v1 und demselben Schlüssel hinzu:
pip install "vllm==0.11.0" "transformers>=4.56,<5"
nohup vllm serve Qwen/Qwen3-32B-AWQ --max-model-len 8192 --port 8000 \
--api-key change-me > /workspace/vllm.log 2>&1 &Die festgelegte Version ist für CUDA 12.8 gebaut; ein neueres vLLM kann einen neueren Treiber brauchen, als die Maschine hat. Der Vergleich der Laufzeitumgebungen erklärt, warum, und wann welche Engine passt.
Was privat bleibt und was nicht
Was auf dem Server bleibt. Das Modell läuft auf der GPU, die Sie gemietet haben. Ihre Prompts, die angehängten Dateien und die Antworten werden dort verarbeitet, und die API keines KI-Unternehmens ist beteiligt. Auch die Dokumentensuche in Open WebUI läuft lokal, mit einem kleinen Embedding-Modell, das auf den Server geladen wird. Websuche und Verbindungen zu externen Modell-APIs gibt es in Open WebUI, sie bleiben aber aus, solange Sie sie nicht hinzufügen.
Wo der Server steht. Er ist eine Maschine bei einem unserer geprüften Anbieter, nicht Ihre eigene Hardware. Ihr Land wird vor dem Start angezeigt, Sie können also eines wählen, das zu Ihren Anforderungen passt. „Privat“ heißt hier, dass kein KI-Anbieter Ihre Unterhaltungen sieht oder speichert, und genau das brauchen die meisten, wenn sie von einem öffentlichen Chatbot wegwechseln.
Der Link. Die Chat-Adresse der fertigen App ist ein einfacher http-Link auf einem Port unserer Adresse, und er öffnet sich ohne Anmeldung. Wer den Link hat oder Ports unserer Adresse durchprobiert, bis einer antwortet, kann den Chat nutzen, solange der Server läuft. Veröffentlichen Sie ihn nirgends, schalten Sie Konten ein, bevor Sie ihn weitergeben (nächster Abschnitt), und öffnen Sie den Chat für vertrauliches Material wie oben über einen SSH-Tunnel, der die Verbindung verschlüsselt.
Nach dem Stoppen. Die Festplatte des Servers wird gelöscht. Ihr Chatverlauf liegt in /workspace/open-webui; wählen Sie also beim Stoppen, den Ordner zu speichern, wenn Sie ihn beim nächsten Mal wieder haben wollen. Er wird auf dem nächsten Server wiederhergestellt, auch auf einer anderen Karte, für 0,03 € pro GB und Monat, und ein Chatverlauf bleibt meist weit unter einem Gigabyte. Das Modell selbst wird nicht behalten und beim nächsten Start erneut heruntergeladen. Der Artikel zu Dateien nach dem Stoppen hat die Einzelheiten.
Den Chat mit einem Team teilen
Für ein Team schalten Sie die Konten von Open WebUI ein. Der Datenordner, den die App angelegt hat, wurde ohne echte Konten eingerichtet. Am saubersten starten Sie Open WebUI deshalb mit einem neuen:
pkill -f "open-webui serve"
DATA_DIR=/workspace/open-webui-team WEBUI_AUTH=True OLLAMA_BASE_URL=http://127.0.0.1:11434 \
nohup open-webui serve --host 0.0.0.0 --port 3000 > /workspace/webui.log 2>&1 &Das erste Konto, das Sie anlegen, wird Administrator. Kolleginnen und Kollegen, die sich registrieren, warten auf Ihre Freigabe, oder Sie legen ihre Konten unter Admin Panel → Users an. Jede Person bekommt ihren eigenen Chatverlauf; der Administrator kann Modelle, System-Prompts und Dokumentensammlungen mit allen teilen. Chats aus dem alten Ordner bleiben dort und ziehen nicht mit um. Stürzt dieser Prozess einmal ab, startet die automatische Reparatur der App wieder den ursprünglichen Chat ohne Anmeldung; prüfen Sie also nach jedem Neustart, ob der Chat noch nach einer Anmeldung fragt.
Wie viel ein Server schafft: Eine 24-GB-Karte mit Qwen3 32B über Ollama reicht bequem für eine Handvoll Leute, die ab und zu fragen. Schreiben zehn oder mehr gleichzeitig, landen die Antworten in der Warteschlange; wechseln Sie dann die Engine zu vLLM und überlegen Sie eine 48-GB-Karte, damit mehr Unterhaltungen gleichzeitig in den Cache passen.
Die Kosten fallen pro Server an, nicht pro Platz. Eine RTX 4090 mit 24 GB für 9 Stunden an 22 Arbeitstagen ergibt 198 Stunden, 116,82 € im Monat für das ganze Team. Ein kostenpflichtiges Chat-Abo kostet etwa 20–25 € pro Person und Monat (November 2026). Für eine Person ist das Abo günstiger, es sei denn, es geht gerade um den Datenschutz. Ab etwa sechs Personen, je nach heutigem Kartenpreis und Ihren Stunden, kostet ein gemeinsamer Server weniger als ein Platz für jeden, und die Daten liegen auf einer Maschine unter Ihrer Kontrolle.
Der Leerlaufschutz hilft dabei: Nutzt niemand den Chat, bekommen Sie nach 2 Stunden ohne Verbindungen oder GPU-Last eine E-Mail, und eine Stunde später wird der Ordner gespeichert und der Server gestoppt. Für feste Bürozeiten kann ein kleines Skript auf Ihrer Seite (zum Beispiel cron) den Server über die API starten und stoppen, mit einem Token aus den Einstellungen.