AA-WER-Streaming-Benchmark

Es gibt Programme, die gesprochene Sprache automatisch in Text umwandeln. Manche warten damit, bis jemand zu Ende gesprochen hat. Andere schreiben mit, während noch geredet wird — das nennt man Streaming. Der AA-WER-Streaming-Benchmark ist ein standardisierter Test für die zweite Sorte. Er lässt viele Systeme dieselben Tonaufnahmen abtippen und zählt anschließend die Fehler. Das Ergebnis ist eine Fehlerquote in Prozent, mit der sich Anbieter direkt vergleichen lassen.

Warum eine Fehlerquote allein nicht reicht

Die übliche Kennzahl der Spracherkennung heißt Wortfehlerrate, kurz WER. Sie gibt an, wie viele Wörter pro hundert falsch, fehlend oder zu viel sind. Ein Wert von 5 Prozent bedeutet: eines von zwanzig Wörtern stimmt nicht. Diese Zahl ist einfach und seit Jahrzehnten etabliert.

Bei Streaming-Systemen führt sie aber leicht in die Irre. Solche Systeme korrigieren sich nämlich oft selbst. Zuerst erscheint ein vorläufiges Wort, kurz darauf ersetzt das Modell es durch ein besseres. Misst man nur den Text am Ende, sieht die Fehlerquote hervorragend aus. Der Nutzer hat auf dem Bildschirm trotzdem sekundenlang Unsinn gelesen.

Genau diese Lücke schließt der AA-WER-Streaming-Benchmark. Das « AA » steht für die auswertende Instanz, die Testdaten und Regeln festlegt. Wichtig ist die zweite Hälfte des Namens: Bewertet wird der Text so, wie er live entsteht. Ein System, das ständig hin- und herspringt, schneidet hier schlechter ab als eines, das ruhig und stabil mitschreibt. Für Anbieter ist das unbequem, für Käufer sehr nützlich.

Vom Tonarchiv zur Prozentzahl

Grundlage jedes solchen Tests ist eine Sammlung von Audioaufnahmen mit geprüften Abschriften. Menschen haben diese Abschriften erstellt, sie gelten als richtige Lösung. Der Test spielt die Aufnahmen nun nicht als Datei ein, sondern häppchenweise, so wie ein Mikrofon sie liefern würde. Das System muss also unter denselben Bedingungen arbeiten wie im echten Betrieb.

Anschließend vergleicht das Auswertungsprogramm die Maschinenausgabe Wort für Wort mit der menschlichen Abschrift. Es zählt drei Fehlerarten: ausgelassene Wörter, hinzuerfundene Wörter und verwechselte Wörter. Die Summe wird durch die Gesamtzahl der Wörter geteilt. Heraus kommt die Wortfehlerrate.

Dazu kommen Messgrößen, die es nur beim Streaming gibt. Die Latenz beschreibt, wie viele Millisekunden zwischen gesprochenem und geschriebenem Wort vergehen. Die Stabilität beschreibt, wie oft bereits angezeigter Text nachträglich geändert wird. Ein guter Testbericht nennt alle drei Werte nebeneinander, weil sie sich gegenseitig beeinflussen. Wer die Fehlerquote senken will, wartet länger — und verschlechtert damit die Latenz.

Wer solche Zahlen liest und wofür

Im Alltag steckt Streaming-Spracherkennung an vielen Stellen. Die automatischen Untertitel bei Videokonferenzen gehören dazu, ebenso die Live-Untertitel auf Videoplattformen. Auch Diktierfunktionen auf dem Handy und Sprachassistenten in Autos arbeiten so. Überall dort merkt man sofort, wenn ein System zappelig ist.

In Nachrichten über Technologiefirmen tauchen Benchmark-Zahlen regelmäßig auf. Ein Anbieter meldet dann etwa, sein neues Modell erreiche eine Wortfehlerrate von 4,2 Prozent statt vorher 6,1 Prozent. Solche Meldungen sind nur dann aussagekräftig, wenn die Testbedingungen genannt werden. Entscheidend sind die verwendeten Aufnahmen, die Sprache und die zugelassene Verzögerung.

Ein verbreiteter Irrtum ist, eine niedrige Fehlerquote bedeute automatisch ein besseres Produkt. Testaufnahmen sind meist sauber aufgenommen und deutlich gesprochen. In einem lauten Großraumbüro oder bei starkem Dialekt steigen die Werte schnell an. Benchmarks wie dieser liefern deshalb einen fairen Vergleich, aber keine Garantie für den eigenen Anwendungsfall.