12. November 2026 · VRAMfarm-Team

Whisper-Transkription auf der GPU: large-v3 oder turbo, faster-whisper, Sprecher mit WhisperX

Hundert Stunden aufgezeichneter Interviews klingen nach Wochen voller Tipparbeit. Auf einer gemieteten RTX 4090 transkribiert Whisper large-v3 sie in etwa ein bis zwei Stunden GPU-Zeit, für rund 0,89 €, mit Zeitstempeln für jeden Satz. Das Modell braucht nur 3–10 GB Speicher. Die Frage ist also weniger, welche Karte passt, als welche Whisper-Variante Sie nutzen und wie Sie die GPU ausgelastet halten.

Welches Whisper: large-v3, turbo oder kleiner

Whisper von OpenAI gibt es in mehreren Größen. Für die Arbeit auf der GPU zählen zwei, die denselben Encoder-Aufbau haben, sich aber im Decoder unterscheiden.

Turbo ist large-v3 mit einem viel kleineren Decoder (4 Schichten statt 32). Bei klarer Sprache liegt die Genauigkeit nah an large-v3, und es läuft um ein Mehrfaches schneller. Bei Akzenten, durcheinander redenden Personen und seltenen Sprachen macht es mehr Fehler, und für Übersetzung wurde es nicht trainiert. Eine gute Faustregel: turbo für saubere Aufnahmen wie Podcasts und Vorlesungen, large-v3 für Telefonate, laute Räume, starke Akzente und alles, was Sie zitieren werden.

faster-whisper ist eine Neuimplementierung von Whisper auf der Engine CTranslate2. Dieselben Modelle und praktisch dieselbe Genauigkeit, bis zu etwa viermal schneller als der Code von OpenAI und mit weniger Speicher, und es kann mit geringem Verlust auf int8 quantisieren. WhisperX baut auf faster-whisper auf und ergänzt zwei Dinge: Zeitstempel pro Wort über ein separates Alignment-Modell und Sprecherlabels (Diarisierung).

Brauchen Sie überhaupt eine GPU?

Für ein paar Aufnahmen im Monat nicht. Ein Laptop mit Apple Silicon oder einer aktuellen CPU betreibt turbo über whisper.cpp in angenehmem Tempo, und gehostete Transkriptions-APIs rechnen pro Minute ab, ganz ohne Einrichtung. Gehostete APIs der Whisper-Klasse kosten je nach Anbieter und Modell zwischen ein paar Cent und etwa 0,30 € pro Audiostunde (November 2026).

Eine gemietete GPU gewinnt, wenn:

• Sie Menge haben: Dutzende oder Hunderte Stunden, bei denen sich der API-Preis pro Stunde summiert und die GPU jede Minute beschäftigt ist;
• die Aufnahmen sensibel sind: Interviews, Patienten, interne Gespräche, die Sie nicht an die API eines Dritten schicken wollen;
• Sie Sprecherlabels oder eine eigene Pipeline brauchen, etwa transkribieren, Sprecher zuordnen und dann mit einem lokalen LLM zusammenfassen;
• die Dateien groß sind: Viele APIs begrenzen die Größe eines einzelnen Uploads, Ihrem eigenen Server ist das egal.

Tempo: Audiostunden pro GPU-Stunde

Das Tempo von Whisper wird meist als Vielfaches der Echtzeit angegeben: 50× heißt eine Stunde Audio in 72 Sekunden. Der größte Hebel ist nicht die Karte, sondern Batching: Die Batch-Pipeline von faster-whisper schickt viele 30-Sekunden-Abschnitte gleichzeitig durch das Modell und hält so eine moderne GPU ausgelastet.

Lesen Sie jede Zahl als „Audiostunden pro GPU-Stunde“. Das sind Planungswerte aus öffentlichen Benchmarks und den Datenblättern der Karten, keine eigenen Messungen. Das tatsächliche Tempo hängt davon ab, wie viel der Aufnahme Sprache ist, von Beam Size, VAD-Einstellungen und der CPU, die die Audiodateien dekodiert und am oberen Ende zum Flaschenhals werden kann. Die Diarisierung in WhisperX ist ein zusätzlicher Durchlauf; planen Sie bei langen Dateien 30–60 % mehr Zeit ein.

Die günstigste Karte pro Audiostunde ist meist die RTX 3090 oder die RTX 4090, je nachdem, welche gerade das bessere Preisverhältnis hat; die Preisseite zeigt beide. Rechenzentrumskarten wie die H100 sind noch schneller, aber die Transkription nutzt ihren Speicher nicht, und sie kosten pro Stunde ein Mehrfaches.

faster-whisper auf einem gemieteten Server einrichten

Eine fertige Whisper-App gibt es nicht; ein leerer Server PyTorch + Jupyter ist alles, was Sie brauchen. Wählen Sie eine Karte mit 12–24 GB, starten Sie und öffnen Sie Jupyter → File → New → Terminal (oder SSH, siehe die Anleitung zum SSH-Schlüssel).

Laden Sie zuerst die Aufnahmen hoch. Wenn Sie sie auf Ihrem Computer in 16 kHz Mono umwandeln, sparen Sie viel Upload-Zeit, ohne an Genauigkeit zu verlieren, denn Whisper rechnet ohnehin auf 16 kHz um: Eine Stunde MP3 mit 128 kbit/s sind etwa 58 MB, eine Stunde Opus in 16 kHz Mono etwa 11 MB.

# auf Ihrem Computer, einmal pro Datei
ffmpeg -i interview.mp4 -vn -ac 1 -ar 16000 -c:a libopus -b:a 24k interview.opus

Laden Sie ein ZIP über Jupyter oder mit scp hoch, oder holen Sie es auf dem Server aus Ihrem eigenen Cloud-Speicher. Dann auf dem Server:

pip install faster-whisper
mkdir -p /workspace/audio /workspace/out   # die Audiodateien kommen nach /workspace/audio

Speichern Sie das als /workspace/transcribe.py:

import glob, os
from faster_whisper import WhisperModel, BatchedInferencePipeline

model = WhisperModel("large-v3", device="cuda", compute_type="float16")  # oder "large-v3-turbo"
batched = BatchedInferencePipeline(model=model)

def ts(t):
    h, rem = divmod(t, 3600); m, s = divmod(rem, 60)
    return f"{int(h):02}:{int(m):02}:{s:06.3f}".replace(".", ",")

for path in sorted(glob.glob("/workspace/audio/*")):
    name = os.path.splitext(os.path.basename(path))[0]
    segments, info = batched.transcribe(path, batch_size=16, vad_filter=True)  # language="de" ergänzen, wenn Sie die Sprache kennen
    with open(f"/workspace/out/{name}.srt", "w") as srt, open(f"/workspace/out/{name}.txt", "w") as txt:
        for i, seg in enumerate(segments, 1):
            srt.write(f"{i}\n{ts(seg.start)} --> {ts(seg.end)}\n{seg.text.strip()}\n\n")
            txt.write(seg.text.strip() + "\n")
    print(name, info.language, round(info.duration / 60), "min")

Starten Sie es mit nohup python /workspace/transcribe.py > /workspace/log.txt 2>&1 &, damit es weiterläuft, wenn Sie den Browser schließen. Beim ersten Lauf wird das Modell heruntergeladen (etwa 3 GB für large-v3), was als Traffic zum Tarif der Maschine zählt.

Beschwert sich faster-whisper, dass es libcudnn oder libcublas nicht laden kann, fehlen die erwarteten CUDA-Bibliotheken im Pfad: pip install nvidia-cublas-cu12 nvidia-cudnn-cu12 und dann die Zeile mit LD_LIBRARY_PATH aus der README von faster-whisper. Treiber und CUDA-Version der Maschine werden vor dem Start angezeigt; mehr dazu unter CUDA- und Treiberkonflikte.

Wenn Sie language setzen, sobald Sie die Sprache kennen, sparen Sie Zeit und vermeiden gelegentliche Fehlerkennungen bei leisen ersten 30 Sekunden. Mit batch_size=16 belegt large-v3 etwa 6–10 GB VRAM; auf einer 12-GB-Karte gehen Sie auf 8 herunter, wenn der Speicher nicht reicht.

Sprecherlabels mit WhisperX

Für Interviews und Meetings wollen Sie meist „Sprecher 1 / Sprecher 2“ statt eines einzigen Textblocks. WhisperX erledigt das mit einem Befehl. Es legt eigene Versionen von PyTorch und anderen Bibliotheken fest; installieren Sie es deshalb in einer separaten virtuellen Umgebung, damit es keine anderen Werkzeuge beschädigt (es lädt sein eigenes PyTorch herunter, ein paar GB mehr Traffic):

apt-get update && apt-get install -y ffmpeg
python -m venv /workspace/wx && . /workspace/wx/bin/activate
pip install whisperx
export HF_TOKEN=<your Hugging Face read token>
whisperx /workspace/audio/meeting.opus --model large-v3 --language en \
  --diarize --hf_token $HF_TOKEN --output_format srt --output_dir /workspace/out

Die Diarisierungsmodelle stammen von pyannote und sind auf Hugging Face zugangsbeschränkt: Öffnen Sie ihre Modellseiten, akzeptieren Sie die Bedingungen und nutzen Sie einen Lese-Token. Ergänzen Sie --min_speakers 2 --max_speakers 4, wenn Sie die Zahl der Sprecher kennen; das verbessert die Aufteilung spürbar. Rechnen Sie mit ein paar Gigabyte VRAM zusätzlich zur Transkription; eine 24-GB-Karte hat reichlich Platz.

Die Diarisierung ist das schwächste Glied der Kette. Überlappende Sprache, ähnliche Stimmen und kurze Einwürfe („ja“, „genau“) bekommen häufiger das falsche Label, als Whisper die Wörter falsch erkennt. Prüfen Sie die Sprecher in den ersten Minuten, bevor Sie einem langen Transkript vertrauen.

Untertitel: SRT und VTT

Das Skript oben schreibt SRT-Dateien mit einem Whisper-Segment pro Untertitel. Segmente können lang sein, bis zu 30 Sekunden Sprache, und das liest sich auf dem Bildschirm schlecht. WhisperX macht das besser, weil es jedes Wort am Audio ausrichtet:

whisperx video.opus --model large-v3 --language en --output_format srt \
  --max_line_width 42 --max_line_count 2 --output_dir /workspace/out

So erhalten Sie Untertitel mit höchstens zwei Zeilen zu 42 Zeichen, ein verbreiteter Standard im Fernsehen, mit einem Timing, das den Wörtern folgt. Für Web-Player nutzen Sie --output_format vtt. YouTube, Premiere, DaVinci Resolve und die meisten Player importieren SRT direkt. Für übersetzte Untertitel nutzen Sie entweder den Übersetzungsmodus von Whisper ins Englische, oder Sie transkribieren in der Originalsprache und übersetzen den SRT-Text mit einem lokalen LLM, was meist natürlicher klingt.

Was 100 Stunden Audio kosten

In der Mitte der Bereiche oben, mit faster-whisper und Batching:

Rechnen Sie 10–15 Minuten für Einrichtung und Modell-Downloads hinzu. Kleine Jobs zahlen das Minimum von 15 Minuten pro Start: Eine Stunde Audio kostet auf einer RTX 4090 mindestens 0,15 €, egal wie schnell sie durchläuft. Sammeln Sie die Aufnahmen also und transkribieren Sie sie in einer Sitzung, statt für jede Datei einen eigenen Server zu starten.

Bei einer API für etwa 0,15–0,30 € pro Audiostunde (November 2026) würden dieselben 100 Stunden etwa 15–30 € kosten, bei den günstigsten Anbietern mit schneller Inferenz ein paar Euro. Bei großen Mengen ist die GPU günstiger, aber es ist Ihre Einrichtung und Ihre Zeit; für fünf Stunden Audio im Monat ist die API die vernünftige Wahl.

Wenn das Skript fertig ist, packen Sie /workspace/out als ZIP, laden es über Jupyter herunter und stoppen den Server. Wollen Sie denselben Job nächste Woche wieder ausführen, behält Speichern und stoppen die Skripte und die WhisperX-Umgebung in /workspace (allein die Umgebung belegt ein paar GB Speicher); löschen Sie vorher die Aufnahmen, wenn sie nicht gespeichert werden sollen. Die Whisper-Seite enthält die Kurzfassung dieser Befehle.