Speech to Speech Quality Index
Der Speech to Speech Quality Index ist eine Kennzahl dafür, wie gut ein Computersystem gesprochene Sprache in gesprochene Sprache umwandelt — etwa Deutsch in Englisch. Er fasst mehrere Einzelmessungen wie Verständlichkeit, Natürlichkeit und inhaltliche Treue zu einem Wert zusammen.
Manche Programme nehmen gesprochene Sätze auf und geben sie gesprochen wieder zurück. Das kann eine Übersetzung sein, eine Reparatur einer verrauschten Aufnahme oder eine veränderte Stimme. Wie gut ein solches System arbeitet, lässt sich nicht an einem einzigen Merkmal ablesen. Man will wissen: Ist der Inhalt richtig übertragen? Klingt die Ausgabe wie ein echter Mensch? Versteht man jedes Wort? Der Speech to Speech Quality Index bündelt solche Einzelurteile zu einer Zahl, meist auf einer Skala von 1 bis 5. Ein hoher Wert bedeutet, dass die Ausgabe nah an einer guten menschlichen Aufnahme liegt.
Warum eine einzige Zahl für Sprachausgabe gebraucht wird
Sprachsysteme werden heute in großer Zahl entwickelt und verglichen. Ohne gemeinsames Maß redet jedes Team über etwas anderes. Der eine lobt die schöne Stimme, der andere die korrekte Übersetzung. Ein Index zwingt dazu, beide Aspekte gleichzeitig zu bewerten.
Der Grund dafür liegt in einem typischen Kompromiss. Ein System kann sehr natürlich klingen und trotzdem den Sinn verfehlen. Umgekehrt kann eine Ausgabe inhaltlich exakt sein, aber blechern und abgehackt klingen. Beides wäre für Nutzer unbrauchbar. Eine Kennzahl, die nur einen Teil misst, belohnt genau diese halben Lösungen.
Für Unternehmen hat das direkte Folgen. Wer ein Übersetzungsgerät oder einen Sprachassistenten einkauft, braucht eine Zahl für den Vertrag. Genauso wie bei einem Auto der Verbrauch pro hundert Kilometer angegeben wird, soll hier die Sprachqualität vergleichbar sein. Deshalb stehen solche Indizes in Produktankündigungen und Forschungsarbeiten oft direkt neben dem Preis.
Aus welchen Teilmessungen sich der Wert zusammensetzt
Die klassische Methode ist eine Bewertung durch Menschen. Testhörer bekommen Aufnahmen vorgespielt und geben Noten von 1 bis 5. Der Durchschnitt dieser Noten heißt Mean Opinion Score, kurz MOS. Er ist zuverlässig, aber teuer und langsam, weil man viele Personen braucht.
Deshalb kombiniert ein Index mehrere automatische Messungen. Für die Verständlichkeit lässt man ein Spracherkennungsprogramm die Ausgabe wieder in Text umschreiben. Dann zählt man, wie viele Wörter falsch sind. Für die inhaltliche Treue vergleicht man diesen Text mit dem, was gesagt werden sollte. Für die Natürlichkeit gibt es eigene Modelle, die gelernt haben, menschliche Noten vorherzusagen. Bei Systemen, die eine Stimme erhalten sollen, kommt ein Maß für Stimmähnlichkeit hinzu.
Aus diesen Teilwerten wird ein gewichteter Gesamtwert berechnet. Welche Gewichte man wählt, ist eine Entscheidung der Entwickler und keine Naturkonstante. Genau hier liegt der häufigste Irrtum: Zwei Indexwerte aus verschiedenen Quellen sind oft nicht vergleichbar. Man muss wissen, welche Teilmessungen eingegangen sind und wie stark.
Wo der Index in Produkten und Nachrichten auftaucht
Am sichtbarsten ist die Technik in Live-Übersetzung. Videokonferenz-Programme und Kopfhörer bieten an, gesprochene Sätze sofort in einer anderen Sprache auszugeben. Wenn Anbieter ihre neue Version vorstellen, nennen sie meist Zahlen zur Qualitätsverbesserung. Solche Angaben stützen sich auf Indizes dieser Art.
Auch bei Sprachassistenten und in Callcentern spielt das eine Rolle. Dort wird gemessen, ob die Ausgabe am Telefon verständlich bleibt, obwohl die Leitung Qualität kostet. In der Filmbranche prüft man mit ähnlichen Maßen die automatische Synchronisation. Und in der Forschung dienen solche Indizes als Ranglisten bei öffentlichen Wettbewerben.
Ein Hinweis zur Abgrenzung ist nützlich. Der Index bewertet nur die fertige Sprachausgabe, nicht die einzelnen Schritte davor. Eine Textübersetzungsnote wie BLEU beurteilt dagegen nur geschriebene Sätze. Wer beurteilen will, ob ein Gespräch am Ende funktioniert, braucht das Maß für die gesprochene Ausgabe.