← Recherche

STT-Messung: 15 lokale Modelle im Vergleich

Welches Transkriptionsmodell (Speech-to-Text, STT) schreibt ein schwieriges deutsches Telefonat am besten ab, wenn es auf dem eigenen Rechner laufen soll? Ich habe 15 Modelle mit offenen Gewichten auf einer Grafikkarte mit 16 GB gemessen, jedes gegen dieselbe von Hand korrigierte Referenz.

Gemessen vom 25. bis 28.09.2026, Zahlen nachgerechnet am 01.10.2026 · eine Aufnahme, 22 Minuten · RTX 4060 Ti mit 16 GB, Linux

Das Wichtigste in Kürze

• Whisper large-v3-turbo hat den Inhalt am besten getroffen: 8,4 % Inhaltsfehler, 32 von 33 Kernaussagen richtig und keine davon unbemerkt falsch. Es braucht 2,3 GB Grafikspeicher und 30 Sekunden für 22 Minuten Audio.
• Cohere Transcribe und Parakeet-TDT-0.6B-v3 sind am schnellsten: 7 Sekunden für 22 Minuten. Cohere liegt mit 9,1 % knapp hinter turbo.
• MOSS-Transcribe-Diarize ist das einzige lokale Modell, das die zwei Sprecher brauchbar trennt: zwei Kennungen für zwei Menschen, 0,5 % der Wörter falsch zugeordnet.
• CrisperWhisper 2.0 schreibt als einziges Modell wortgetreu mit Füllwörtern (212 von 224). Es ist nur für nicht-kommerzielle Nutzung freigegeben, auch die damit erzeugten Texte.
• Drei Modelle von IBM (Granite Speech) sind durchgefallen. Sie laufen in jeder Einstellung in Schleifen und wiederholen einen Satz oder ein Wort dann bis zu mehrere hundert Mal.
• Den Sprecher nah am Mikrofon verstehen die acht besten Modelle mit 2 bis 4,5 % Inhaltsfehlern. Den Sprecher am Telefon versteht keines besser als mit 24,5 %. Die Unterschiede zwischen den Modellen entstehen fast ganz dort.

Ergebnisse

Die Tabelle zählt die Modelle, die lesbaren Text liefern sollen. Hauptzahl ist die Inhaltsfehlerrate. Sie zählt wie die übliche Wortfehlerrate ausgelassene, falsche und eingefügte Wörter, lässt aber Gesprächspartikeln wie „ja“ oder „also“ weg und wertet reine Beugung nicht als Fehler („ein“ gleich „einen“). Sprecher A spricht nah am Mikrofon, Sprecher B am Telefon.

1. Voxtral Mini 3B ist nur knapp nicht durchgefallen. In 10 von 14 Läufen lief es in eine Schleife. Sauber waren nur die Läufe mit float16 auf dem Original, dort aber wiederholbar, auch mit einem zweiten Programm (vLLM). Mit der Werkseinstellung bfloat16 kippt es bei Minute 4 an einer Stelle, an der Sprecher B stockt. Auf der Aufnahme mit Pegelangleich schreibt es in jeder Einstellung nur „hallo, hallo, …“ oder bleibt später hängen. Dort wäre es nach der Regel durchgefallen. Wer es einsetzt, muss jede Abschrift auf Schleifen prüfen.
2. Whisper large-v3: Der Wert mit Pegelangleich stammt von einer älteren Einstellung, die eine Schleife enthält. Er ist nicht neu gemessen, weil turbo aus derselben Familie ohnehin vorn liegt.
3. Parakeet: Der Wert mit Pegelangleich stammt von der Einstellung mit Zeitmarken je Wort. Die Einstellung in der Tabelle ist ohne Zeitmarken auf dem Original um einen Punkt besser (10,3 statt 11,3 %). Auf der Fassung mit Pegelangleich ist sie nicht gelaufen.
4. Phi-4: Der Wert mit Pegelangleich stammt von derselben Einstellung in float16 statt bfloat16. Auf dem Original liegt sie bei 21,7 %. Die Einstellung in der Tabelle ist auf der Fassung mit Pegelangleich nicht gelaufen.

Dauer ist die reine Rechenzeit ohne Laden des Modells. Grafikspeicher ist die Spitze laut Grafikkarte. Bei Parakeet und Canary hält PyTorch davon einen Teil nur als Vorrat, selbst genutzt waren höchstens 10,7 und 9,6 GB. Cohere braucht in Gruppen zu 8 Stücken 5,0 GB bei gleichem Ergebnis.

Wortgetreuer Text

Ein Modell hat eine eigene Aufgabe: aufschreiben, was gesagt wurde, mit „äh“, Wiederholungen und abgebrochenen Wörtern. Es wird deshalb getrennt gewertet, mit der gewöhnlichen Wortfehlerrate. Die beiden Tabellen werden nicht miteinander verglichen.

Die Referenz ist aus einem Entwurf von CrisperWhisper entstanden und danach von Hand korrigiert worden. Das begünstigt dieses Modell.

Grenzen der Modelle und wofür sie gebaut sind

Viele Modelle können eine lange Aufnahme nicht am Stück verarbeiten. Manche sind für 30 oder 40 Sekunden gebaut, andere kippen nach einigen Minuten in Schleifen, obwohl die Modellkarte mehr verspricht. Die Tabelle stellt die Angabe des Herstellers neben das, was auf 16 GB tatsächlich lief. „Am Stück“ heißt: die ganzen 22 Minuten in einem Aufruf, ohne eigenes Zerschneiden. Wo das nicht ging, habe ich die Aufnahme in überlappende Stücke geteilt und an der Überlappung wieder zusammengesetzt.

5. MOSS: Mit Zeitmarken im Auftrag ließ das Modell den Sprecher am Telefon auf der ganzen Aufnahme weg. Ohne Zeitmarken war er da. Genutzt ist darum die Einstellung ohne Zeitmarken.

Wie genau die gelieferten Zeitmarken sind, ist nicht gemessen.

Die Aufnahme und ihre Schwierigkeiten

Gemessen ist an einem echten Erstgespräch auf Deutsch, das am Telefon geführt und aufgenommen wurde. Die Aufnahme und alle Abschriften bleiben unveröffentlicht, weil sie persönliche Angaben Dritter enthalten. Die Aufnahme ist absichtlich kein sauberes Studiomaterial. Solche Gespräche liegen in der Praxis so vor, und genau sie sollen später zu Text werden.

• Eine Tonspur für beide. 22 Minuten 14 Sekunden, AAC mono mit 48 kHz. Für die Messung wurde eine Kopie in FLAC mono mit 16 kHz umgewandelt, das Original blieb unverändert.
• 20 dB Pegelunterschied. Sprecher A spricht nah am Mikrofon mit −33 dBFS. Sprecher B kommt über das Telefon mit −53 dBFS, also schmalbandig und leise. Das Grundrauschen liegt bei −72 dBFS.
• Deutsch als Fremdsprache. Sprecher B spricht Deutsch mit Akzent und bricht Sätze ab. Mehrere Modelle kippen an seinen Sätzen ins Englische. Die automatische Erkennung der Sprache von Qwen3-ASR hielt zwei Stücke für Tschechisch.
• Überlappungen. Die beiden reden sich oft ins Wort.
• 30 Sekunden Freizeichen am Anfang. Mehrere Modelle schreiben dort Text hinein, der nie gesagt wurde.
• Sprachfilter versagt. Der verbreitete Sprachdetektor Silero VAD erkennt Sprecher B zwischen Sekunde 60 und 110 bei keiner Schwelle als Sprache. Jeder Lauf mit diesem Filter verliert ihn dort.

Bei Sprecher B sind die meisten Fehler Auslassungen, nicht Verwechslungen. Bei turbo stehen 63 ausgelassene Wörter gegen 44 ersetzte, bei Parakeet 92 gegen 48. Die Modelle hören ihn oft gar nicht erst. Wo sie ihn hören, schreiben sie seine Wörter meist richtig.

Versuchsaufbau

Referenz

Die Referenz habe ich selbst über alle 22 Minuten Wort für Wort gegen das Audio korrigiert. Sie enthält jedes gesagte Wort, auch Wiederholungen und abgebrochene Wörter. Füllwörter („äh“, „ähm“), Rückmeldelaute („mhm“ für Ja) und Geräusche sind markiert, unverständliche Stellen als Joker. Daraus ist eine zweite, geglättete Referenz abgeleitet: gut lesbares Schriftdeutsch, jede Aussage bleibt, nichts kommt dazu. Sie ist bewusst aus der wortgetreuen Referenz entstanden und nicht aus dem besten Modell, weil das zirkulär wäre. Gezählt werden 1 928 Wörter, davon 1 412 von Sprecher A und 516 von Sprecher B.

Zählregeln

• Füllwörter zählen nicht in die Fehlerrate. Sie werden getrennt gezählt: mitgeschrieben, entfernt, zu einem Wort geworden oder erfunden.
• Personennamen sind Joker, weil der Text später ohnehin anonymisiert wird. Ein Namens-Joker deckt höchstens 2 Wörter, eine unverständliche Stelle höchstens 3. Jedes Wort darüber zählt als eingefügt. Ohne diese Grenze schluckte ein Joker einmal einen ganzen erfundenen Absatz.
• Vor dem Vergleich werden die Wörter vereinheitlicht: klein geschrieben, ohne Satzzeichen, Zahlen ausgeschrieben („2004“ gleich „zweitausendvier“). Ein Gedankenstrich im Wort zählt wie ein Bindestrich („E–Mail“ gleich „E-Mail“), eine Uhrzeit so, wie man sie spricht („16:00“ gleich „16 Uhr“).
• Text vor dem ersten gesprochenen Wort, also im Freizeichen, zählt als eingefügt, aber bei keinem Sprecher.
• Zusätzlich gezählt: 121 Fachbegriffe, 76 Zahlen und Zeitangaben, Sprecherfehler und erfundene Wortfolgen.

Kernaussagen

Eine Fehlerrate sagt nicht, ob der Inhalt stimmt. „19 statt 90 Minuten“ ist nur ein Wort Unterschied. Deshalb gibt es eine Liste mit 33 Kernaussagen des Gesprächs und 7 Randaussagen. Jede Abschrift wurde vollständig gelesen und jede Aussage abgehakt: richtig, fehlt oder falsch. Unbemerkt falsch heißt, die Aussage steht im Text, aber mit falschem Inhalt, etwa eine falsche Dauer oder ein falsches Alter, und ein Leser bemerkt es nicht. Das wiegt schwerer als eine Lücke, die man sieht. Abgehakt wurde gegen die Referenz, nicht gegen das Audio.

Einstellungen je Modell

Jedes Modell lief zuerst mit der Werkseinstellung des Herstellers, wo nötig mit fester Sprache Deutsch. Danach habe ich einzelne Einstellungen verändert, etwa Rechengenauigkeit, Stücklänge oder eine Wiederholungsstrafe. Optionen kommen nur so zum Einsatz, wie sie gedacht sind. Ein Vorgabetext, der dem Modell Wörter aus dem Gespräch vorsagt, ist ausgeschlossen. In der Tabelle steht die beste Einstellung jedes Modells. Die Siegereinstellung lief ein zweites Mal. Bei allen Modellen außer Parakeet war das Ergebnis Wort für Wort gleich, bei Parakeet zu 98,2 %. Eine Einstellung löst die einfachere nur ab, wenn sie um mehr als diese Streuung besser ist, mindestens um 0,2 Punkte. Nach dieser Regel stehen bei Parakeet und Phi-4 seit dem 01.10.2026 Einstellungen in der Tabelle, die selbst nicht wiederholt wurden.

Kein Sieger mit Schleife

Ein Lauf, der in eine Schleife läuft, kann nicht die beste Einstellung sein, auch wenn seine Zahl besser ist. Als Schleife zählt eine Wortfolge, die mindestens 4-mal öfter hintereinander steht als gesprochen, bei einem einzelnen Wort 8-mal. Ein Modell, das auf der Originalaufnahme in jeder Einstellung Schleifen hat, fällt durch. Ein einziger sauberer und wiederholbarer Lauf reicht zum Bestehen. Die Fassung mit Pegelangleich ist ein Zusatztest und entscheidet nicht über Bestehen.

Drei Modelle hatten einen Lauf mit Schleife, dessen Hauptzahl besser war als die des Laufs in der Tabelle. Die Wertung für geglätteten Text fasst unmittelbare Wiederholungen zusammen, deshalb kostet eine Schleife dort kaum Fehler. Lesbar ist so ein Text trotzdem nicht.

• Phi-4 ohne Wiederholungsstrafe: 18,6 statt 19,6 %. An einer Stelle steht 100-mal hintereinander „uh“.
• Whisper large-v3 mit der Werkseinstellung und fester Sprache Deutsch: 18,8 statt 19,9 %, bei Sprecher B 41,7 statt 61,5 %. Es schreibt an einer Stelle 51-mal hintereinander „ja“, an einer anderen 41-mal. Der Lauf in der Tabelle gibt dem Modell den vorigen Text nicht als Zusammenhang mit und verliert dabei Sprecher B zum großen Teil.
• Omnilingual ASR mit Stücken zu 30 s und 10 s Überlappung: 19,9 statt 21,0 %. Im Freizeichen steht 10-mal „in andere hangeul“.

Durchführung

Die Läufe hat ein KI-Agent aus meinem System minibee auf meinem Rechner ausgeführt, nach einem festen Verfahren, das ich vorgegeben habe. Er hat jede Einstellung protokolliert, jede Abschrift gelesen und die Kernaussagen abgehakt. Das Zählskript nutzt nur die Standardbibliothek von Python und hat einen eigenen Selbsttest. Alle Modelle auf dieser Seite liefen lokal.

Pegelangleich als Vorbearbeitung

Weil Sprecher B so viel leiser ist, habe ich getestet, ob eine angeglichene Lautstärke hilft. Das Filter dynaudnorm von ffmpeg gleicht die Lautstärke in Abschnitten von 0,2 Sekunden an, mit bis zu 40 dB Anhebung (dynaudnorm=f=200:g=5:m=100). Danach liegen die beiden Sprecher nur noch 2 dB auseinander. Der Nachteil: Pausen und Rauschen werden mit angehoben, das Grundrauschen steigt von −72 auf −42 dBFS. Die Spalte „mit Pegelangleich“ in der Ergebnistabelle zeigt dieselbe Hauptzahl auf dieser Fassung.

• Qwen3-ASR wird am meisten besser: 15,3 auf 9,1 %, bei Sprecher B 47,9 auf 25,3 %.
• Phi-4 wird ebenfalls deutlich besser: 21,7 auf 14,9 %, gemessen mit derselben Einstellung in float16.
• turbo wird nicht besser: 8,4 % vorher und nachher. Es hört Sprecher B schon auf dem Original fast so gut.
• Voxtral Mini 3B wird unbrauchbar, weil es am angehobenen Freizeichen hängen bleibt.
• Bei den Kernaussagen werden vor allem die Modelle besser, die Sprecher B auf dem Original oft nicht hören. CrisperWhisper bereinigt steigt von 26 auf 31 richtige.

Auch das gilt nur für diese eine Aufnahme. Getrennte Tonspuren je Sprecher würden Lautstärke und Sprechertrennung schon bei der Aufnahme lösen. Das ist nicht gemessen, weil diese Aufnahme nur eine Spur hat.

Typische Fehlerbilder

Schleifen

Sprachmodell-basierte Erkenner schreiben Wort für Wort und können sich festfahren. Dann wiederholen sie denselben Satz bis zur Längengrenze. Das Paket von Qwen3-ASR kürzt Wiederholungen fest eingebaut, dort hört das Transkript an so einer Stelle einfach früher auf. Nemotron und die CTC-Fassungen von Omnilingual schreiben entlang der Zeitachse und können nicht in eine Schleife laufen.

Übersetzen statt abschreiben

Whisper large-v3 übersetzt mit der Werkseinstellung fast das ganze Gespräch ins Englische. Granite Speech übersetzt ohne Sprachvorgabe viele Stücke.

Falsche Schrift

Nemotron schreibt ohne Sprachvorgabe deutsche Sätze von Sprecher B lautgetreu in kyrillischer Schrift und eine Begrüßung in Devanagari.

Erfundener Text

Im Freizeichen schreibt Whisper „Vielen Dank.“, Phi-4 einen spanischen Absatz. Cohere setzt mitten in ein Stück die englische Zeile „Input transcript corrected:“.

Zahlen

Phi-4 schreibt Zahlenpaare zusammen, aus „fünf, sechs“ wird „56“. Die CTC-Fassungen von Omnilingual zerlegen Zahlen. Aus Dauern und Altersangaben entstehen bei mehreren Modellen andere, plausible Zahlen. Ein großer Teil der unbemerkt falschen Kernaussagen sind solche Zahlen.

Stückgrenzen

Cohere schneidet ohne Überlappung. An einigen Grenzen fehlen Wörter, und jedes Stück endet mit einem Punkt. Canary verliert einen Satz an einer Naht seiner 30-Sekunden-Stücke.

Was diese Messung nicht zeigt

• Alles beruht auf einer einzigen Aufnahme. Ob die Reihenfolge bei anderen Gesprächen hält, ist nicht geprüft.
• Die Referenz ist aus einem Entwurf von CrisperWhisper entstanden, die Sprecherzuordnung anfangs aus einem Cloud-Modell. Beide wurden von Hand korrigiert, ein Vorteil für diese Quellen bleibt möglich.
• Gleichzeitiges Sprechen ist nicht gewertet, weil die Referenz Überlappungen nicht markiert.
• Die Genauigkeit der Zeitmarken ist nicht gemessen.
• Die Kernaussagen hat der Agent gegen die Referenz abgehakt, nicht gegen das Audio.
• Cloud-Dienste sind nicht Teil dieser Seite. Sie stehen auf einer eigenen Seite: STT-Messung: 19 Cloud-Modelle.