STT-Messung: 19 Cloud-Modelle im Vergleich
Wie gut schreiben Transkriptionsdienste in der Cloud dasselbe schwierige deutsche Telefonat ab, an dem ich 15 lokale Modelle gemessen habe? Ich habe 19 Modelle von 13 Anbietern über ihre Schnittstellen gemessen, gegen dieselbe von Hand korrigierte Referenz und nach denselben Regeln. Die Zahlen sind darum direkt mit der lokalen Messung vergleichbar.
Das Wichtigste in Kürze
- Google Gemini 2.5 Pro hat den Inhalt am besten getroffen: 6,3 % Inhaltsfehler, als einziges Modell der ganzen Reihe alle 33 Kernaussagen richtig und keine unbemerkt falsch. Google schaltet dieses Modell laut eigener Ankündigung am 20.10.2026 ab.
- Soniox stt-async-v5 liegt mit 6,7 % knapp dahinter. Es trennt die zwei Sprecher mit 0,3 % falsch zugeordneter Wörter am saubersten und kostet nach Listenpreis 0,09 US-Dollar je Stunde Audio. Gerechnet wird in den USA.
- Google Gemini 3.8 Flash, ein Nachfolger, ist das beste Modell mit vertraglich zugesagter Verarbeitung in der EU: 7,3 %, 32 Kernaussagen, stabil in der Wiederholung (7,4 %). Es trennt keine Sprecher und liefert den Text als einen Block ohne Absätze.
- Sechs Cloud-Modelle sind besser als das beste lokale Modell, Whisper large-v3-turbo mit 8,4 %: Gemini 2.5 Pro, Soniox, Gemini 3.8 Flash und 3.5 Flash (je 7,3 %), AssemblyAI (8,3 %) und ElevenLabs (8,3 %, vorläufig).
- Google Chirp 3 ist das beste Modell in der EU, das auch die Sprecher trennt: 8,9 %, 32 Kernaussagen, keine unbemerkt falsch, 0,6 % der Wörter falsch zugeordnet.
- Sprecher A am Mikrofon verstehen alle 19 Modelle mit 2,1 bis 5,2 % Inhaltsfehlern. Bei Sprecher B am Telefon reicht die Spanne von 16,8 bis 70,0 %. Wie bei den lokalen Modellen entsteht die Rangfolge fast ganz dort.
- Der häufigste unbemerkte Fehler steht bei den Modellen an derselben Stelle: Aus einer Dauer von dreieinhalb Monaten wird „anderthalb“. Richtig steht sie nur bei Chirp 3, Gemini 2.5 Pro und Gemini 3.5 Flash.
Ergebnisse
Hauptzahl ist wie bei der lokalen Messung die Inhaltsfehlerrate. Sie zählt ausgelassene, falsche und eingefügte Wörter, lässt aber Gesprächspartikeln wie „ja“ oder „also“ weg und wertet reine Beugung nicht als Fehler. Füllwörter wie „äh“ zählen nicht. Sprecher A spricht nah am Mikrofon, Sprecher B am Telefon. Kein Cloud-Modell ist durchgefallen: Jedes hat auf dem Original eine Einstellung ohne Schleife.
| Modell | Inhaltsfehler | Sprecher A | Sprecher B | mit Pegelangleich | Kernaussagen richtig (von 33) | davon unbemerkt falsch | Sprecher getrennt | Listenpreis je Stunde |
|---|---|---|---|---|---|---|---|---|
| Google Gemini 2.5 Pro 1 | 6,3 % | 2,4 % | 16,8 % | 6,8 % | 33 | 0 | nein | 0,26 $ |
| Soniox stt-async-v5 | 6,7 % | 2,5 % | 17,9 % | 7,3 % | 32 | 1 | ja, 0,3 % falsch | 0,09 $ |
| Google Gemini 3.8 Flash | 7,3 % | 2,7 % | 19,8 % | 7,3 % | 32 | 1 | nein | 0,22 $ |
| Google Gemini 3.5 Flash 6 | 7,3 % | 3,6 % | 17,2 % | 50,6 % | 33 | 0 | nein | 0,36 $ |
| AssemblyAI Universal-3.5 Pro | 8,3 % | 2,9 % | 23,0 % | 7,0 % | 31 | 1 | wählbar, gegen Aufpreis | 0,21 $ |
| ElevenLabs Scribe v2 2 | 8,3 % | 3,6 % | 21,1 % | 6,9 % | 32 | 1 | wählbar, 0,4 % falsch | 0,22 $ |
| Google Chirp 3 | 8,9 % | 3,6 % | 23,2 % | 9,2 % | 32 | 0 | ja, 0,6 % falsch | 0,96 $ |
| Speechmatics Enhanced | 8,9 % | 3,3 % | 24,0 % | 9,0 % | 31 | 1 | wählbar, 1,0 % falsch | 0,40 $ |
| Deepgram Nova-3 3 | 9,2 % | 4,2 % | 22,8 % | 9,2 % | 31 | 1 | wählbar | 0,31 $ |
| Mistral Voxtral Small 24B 4 | 9,8 % | 2,1 % | 30,4 % | 8,0 % | 32 | 1 | nein | 0,24 $ |
| Rev.ai, Deutsch | 10,2 % | 4,0 % | 26,8 % | 9,2 % | 32 | 1 | ja, 2,4 % falsch | 0,30 $ |
| Mistral Voxtral Mini Transcribe 2 | 13,5 % | 3,1 % | 41,5 % | 9,9 % | 28 | 2 | ja, 0,9 % falsch, aber 9 Kennungen für 2 Menschen | 0,18 $ |
| OpenAI GPT-Transcribe 4 | 14,5 % | 3,7 % | 43,2 % | 8,9 % | 29 | 1 | nur mit eigenem Modell | 0,27 $ |
| Google chirp_telephony | 15,3 % | 5,2 % | 42,3 % | 12,7 % | 23 | 0 | nein | 0,96 $ |
| Microsoft Azure AI Speech 5 | 15,4 % | 3,9 % | 46,2 % | 8,9 % | 28 | 2 | wählbar | 0,36 $ |
| Gladia Solaria-3 | 15,5 % | 2,9 % | 49,6 % | 9,7 % | 27 | 2 | wählbar | 0,61 $ |
| Speechmatics Melia-1 | 16,1 % | 4,6 % | 47,0 % | 12,1 % | 29 | 2 | wählbar | 0,13 $ |
| AWS Transcribe | 18,4 % | 3,0 % | 59,6 % | 12,2 % | 24 | 2 | wählbar, 2,0 % falsch | 0,36 $ |
| xAI Grok Voice Transcribe 2.0 | 22,3 % | 4,4 % | 70,0 % | 14,2 % | 22 | 1 | wählbar, 1,6 % falsch | 0,10 $ |
| Zum Vergleich: die besten lokalen Modelle aus der lokalen Messung | ||||||||
| Whisper large-v3-turbo, lokal | 8,4 % | 2,0 % | 25,5 % | 8,4 % | 32 | 0 | nein | eigener Rechner |
| Cohere Transcribe 03-2026, lokal | 9,1 % | 3,4 % | 24,5 % | 8,4 % | 30 | 2 | nein | eigener Rechner |
- Gemini 2.5 Pro ist ein Sprachmodell, das den Ton nach einem festen Auftragssatz abschreibt („Transcribe this German audio. Output only the transcript.“, Temperatur 0). Es trennt keine Sprecher, setzt aber bei jedem Sprecherwechsel einen Absatz. Mit der Werkseinstellung war es nur zu 93,5 % wiederholbar, mit Temperatur 0 zu 98,2 %. Gemini 3.5 Transcribe gibt es nur am weltweiten Endpunkt. In der Region „EU“ bietet Google nur Flash-Modelle der Generation 3 an, kein Pro. Gemessen sind 3.8 Flash und 3.5 Flash.
- ElevenLabs: Die Wiederholung des besten Laufs fehlt, weil das Gratis-Kontingent des Monats aufgebraucht war. Die Zahl ist darum vorläufig. Einstellungen, die kein Wort ändern sollten, wichen an rund 2 % der Wörter ab. ElevenLabs schreibt am wortgetreuesten: fast alle „äh“, Abbrüche und Geräusche in Klammern.
- Deepgram: Der Wert mit Pegelangleich stammt von derselben Einstellung mit zusätzlich eingeschalteten Füllwörtern. Sie liegt auf dem Original nur 0,1 Punkte besser, unter der Rauschgrenze.
- Die Fassung mit Pegelangleich lag über der Upload-Grenze des Anbieters und ging als MP3. Die Kontrolle mit dem Original als MP3 verschob die Zahl um höchstens 0,3 Punkte.
- Microsoft: gemessen ist das klassische Modell der Fast-Transcription-Schnittstelle. Das neue MAI-Transcribe-2 ist eine Vorschau und wurde nicht gemesen.
- Gemini 3.5 Flash: Die beste Einstellung (Temperatur 0) bricht auf der Fassung mit Pegelangleich jedes Mal an derselben Stelle ab und liefert nur zwei Drittel des Gesprächs, daher 50,6 %. Die Werkseinstellung kommt dort auf 7,6 %, streut auf dem Original aber zwischen 7,7 und 9,0 %. An drei Stellen schreibt das Modell zusammen 10 Wörter, die nicht gesagt wurden.
Listenpreis in US-Dollar je Stunde Audio, für die Einstellung in der Tabelle. Sprecher getrennt nennt den Anteil der Wörter, die dem falschen Menschen zugeordnet sind. „Wählbar“ heißt, die Option gibt es, die beste Einstellung nutzt sie nicht.
Pegelangleich
Die Spalte „mit Pegelangleich“ zeigt dieselbe Hauptzahl auf einer Fassung, in der ein Filter die Lautstärke abschnittsweise angleicht. Das Verfahren steht auf der Seite der lokalen Messung. Am meisten hilft er den Modellen, die Sprecher B auf dem Original oft gar nicht hören. Ist er lauter, hören sie ihn, und ihre Fehlerrate sinkt stark:
- Microsoft von 15,4 auf 8,9 %, OpenAI von 14,5 auf 8,9 %, AWS von 18,4 auf 12,2 %, xAI von 22,3 auf 14,2 %.
- Die besten Modelle werden nicht besser: Gemini 2.5 Pro geht von 6,3 auf 6,8 %, Soniox von 6,7 auf 7,3 %, Chirp 3 von 8,9 auf 9,2 %. Gemini 3.8 Flash bleibt bei 7,3 %.
- Mit Pegelangleich kommen sechs Cloud-Modelle auf 8,0 % oder besser, ohne ihn vier.
Wo gerechnet wird und was mit den Daten passiert
Für ein Gespräch mit persönlichen Angaben zählt neben der Fehlerrate, wo der Ton verarbeitet wird und was der Anbieter danach damit tun darf. Den Rechenort habe ich an jeder einzelnen Anfrage geprüft: an der Adresse, an die sie ging, und wo möglich an der Region, die der Anbieter zurückmeldet. Die Angaben zu Training und Speicherung stammen aus den Bedingungen und der Dokumentation der Anbieter, Stand 29. und 30.09.2026. Sie sind gelesen, aber nicht juristisch geprüft.
| Modell | Rechenort, an der Anfrage geprüft | Training und Speicherung laut Anbieter |
|---|---|---|
| Google Gemini 2.5 Pro | Niederlande (europe-west4); vertraglich zugesagt ist nur die Region „EU“ als Ganzes | kein Training laut Vertrag; Eingaben bis 24 h im Zwischenspeicher, je Projekt abschaltbar |
| Soniox | USA (Nord-Virginia); eine EU-Region gibt es auf Anfrage | kein Training mit Ton oder Abschrift laut Vertrag; Löschen nach jedem Lauf möglich |
| Google Gemini 3.8 Flash und 3.5 Flash | Region „EU“, vertraglich zugesagt | kein Training laut Vertrag; Zwischenspeicher im Projekt abgeschaltet, vor jedem Lauf nachgelesen |
| AssemblyAI | EU-Endpunkt; die hochgeladene Datei lag in einem Speicher in den USA (Oregon) | am EU-Endpunkt kein Training laut Dokumentation |
| ElevenLabs | USA; eine EU-Region nur für Großkunden | Training im Gratis-Tarif an, im Konto abschaltbar; der Gratis-Tarif ist nur für nicht-kommerzielle Nutzung |
| Google Chirp 3 | Region „EU“, vertraglich zugesagt | kein Training ohne Erlaubnis laut Vertrag |
| Speechmatics Enhanced und Melia-1 | EU-Region; der eigentliche Rechenort ist von außen nicht zu sehen | Training am Ton aus; die Nutzungsbedingungen geben Speechmatics eine Lizenz an den Abschriften |
| Deepgram | EU | Training und Aufbewahrung je Anfrage abschaltbar (mip_opt_out), bei jeder Anfrage gesetzt |
| Mistral Voxtral Small und Mini | EU | hängt am Tarif; im Gratis-Modus war die Freigabe für Training eingeschaltet |
| Rev.ai | USA (Oregon); eine EU-Region auf Anfrage | Training laut Bedingungen möglich, abschaltbar nur im Enterprise-Tarif |
| OpenAI | USA | laut Dokumentation kein Training und keine Speicherung bei dieser Schnittstelle |
| Google chirp_telephony | Niederlande (europe-west4) | kein Training laut Vertrag |
| Microsoft | Frankfurt | laut Dokumentation keine Speicherung bei Fast Transcription |
| Gladia | Frankreich; laut Vertrag verarbeitet auch die US-Gesellschaft | kein Schalter in der Anfrage |
| AWS | Frankfurt | Training je Konto abschaltbar |
| xAI | USA, keine EU-Region | kein Training laut Vertrag; ohne „Zero Data Retention“ 30 Tage gespeichert, kein Löschweg |
Wer die Verarbeitung in der EU vertraglich zugesagt braucht, hat zwei Möglichkeiten: Gemini 3.8 Flash mit 7,3 % ohne Sprechertrennung oder Chirp 3 mit 8,9 % mit Sprechertrennung. Gemini 2.5 Pro rechnet ebenfalls in der EU, verschwindet aber am 20.10.2026. Ganz ohne Cloud erreicht Whisper large-v3-turbo auf dem eigenen Rechner 8,4 %, trennt aber keine Sprecher.
Typische Fehlerbilder
Weglassen
Die schwächeren Modelle erfinden selten etwas, sie lassen Sprecher B weg. AWS Transcribe verliert drei Fünftel seiner Wörter (59,6 %), xAI Grok 70,0 %. Bei xAI fehlen in jedem Lauf andere Stücke, die Wiederholung kam auf 25,1 statt 22,3 %. OpenAI hört Sprecher A mit 3,7 % fast so gut wie die besten Modelle und lässt die kurzen Fragen von Sprecher B fast alle aus.
Erfinden, je Lauf anders
Gladia schreibt an den leisen Stellen von Sprecher B Inhalte, die nie gesagt wurden. Die Wiederholung mit derselben Einstellung erfindet an denselben Stellen etwas anderes. Zwölf Stellen unterschieden sich, fast alle bei Sprecher B.
Sprache wechseln
AssemblyAI schreibt an leisen Stellen Niederländisch. Deepgram springt mit der mehrsprachigen Einstellung ins Russische und Englische, liegt damit aber insgesamt besser als mit fester Sprache Deutsch (9,2 statt 11,2 %). Das ältere Modell von xAI hielt die Fassung mit Pegelangleich für Englisch und übersetzte Sprecher B.
Denken frisst die Ausgabe
Gemini 3.5 Flash ist ein Sprachmodell, das vor der Antwort „denkt“. Auf der Fassung mit Pegelangleich denkt es mit Temperatur 0 so lange, bis die Grenze für die Ausgabe erreicht ist, und liefert dann nur zwei Drittel der Abschrift. Die Schnittstelle meldet das nicht als Fehler. Es steht nur in einem Feld der Antwort (finishReason). Wer so ein Modell einsetzt, muss dieses Feld bei jeder Abschrift prüfen.
Zahlen
AWS schreibt zwei nebeneinander gesprochene Zahlen als eine: „fünf, sechs Bewerbungen“ wird „56 Bewerbungen“, „zwei, drei Monate“ wird „23 Monate“. Beide Fehler stehen unbemerkt im Text, auf beiden Fassungen der Aufnahme.
Versuchsaufbau
Aufnahme, Referenz, Zählregeln und Kernaussagen sind dieselben wie bei der lokalen Messung und dort beschrieben: Die Aufnahme und ihre Schwierigkeiten, Versuchsaufbau. Für die Cloud kamen diese Regeln dazu:
- Je Anbieter lief zuerst die Werkseinstellung auf dem Original, dann dieselbe auf der Fassung mit Pegelangleich, dann einzelne geänderte Einstellungen. Die beste Einstellung lief zuletzt ein zweites Mal.
- Eine Einstellung löst die einfachere nur ab, wenn sie um mehr als die gemessene Streuung des Modells besser ist, mindestens um 0,2 Punkte. Die Streuung ist der Unterschied zwischen einem Lauf und seiner Wiederholung.
Die Läufe hat ein KI-Agent aus meinem System minibee ausgeführt, nach einem festen Verfahren, das ich vorgegeben habe. Er hat jede Anfrage protokolliert, jede Abschrift gelesen und die Kernaussagen abgehakt.
Was diese Messung nicht zeigt
- Alles beruht auf einer einzigen Aufnahme. Ob die Reihenfolge bei anderen Gesprächen hält, ist nicht geprüft.
- Gemessen sind nur die Schnittstellen für fertige Dateien. Echtzeit-Schnittstellen sind nicht gemessen.
- Nicht gemessen sind Microsoft MAI-Transcribe-2 (Vorschau, nicht für Personendaten freigegeben), Gemini 3.5 Transcribe (nicht in der EU-Region) sowie Gemini 3.6 und 3.7 Flash.
- Meta konnte nicht gemessen werden. Das Facebook-Konto, das Meta für den Zugang verlangt, wurde mit echten Angaben angelegt. Meta sperrte das Konto während der Verifizierungsphase ohne einen Grund zu nennen.
- Bei ElevenLabs fehlt die Wiederholung des besten Laufs.
- Den Rechenort zeigen die Adresse der Anfrage und die Antwort des Anbieters. Was hinter dieser Adresse geschieht, ist von außen nicht zu sehen.
- Die Angaben zu Training und Speicherung sind aus den Bedingungen gelesen.
- Die Kernaussagen hat der Agent gegen die Referenz abgehakt, nicht gegen das Audio.