Turn-Taking-Latenz

Wenn zwei Menschen sich unterhalten, wechseln sie sich ab. Der eine hört auf zu sprechen, der andere beginnt. Diese Übergabe nennt man in der Sprachforschung einen Sprecherwechsel. Die Turn-Taking-Latenz misst, wie lange dieser Übergang bei einem Computerprogramm dauert. Gemeint ist die Pause zwischen dem letzten Wort des Menschen und dem ersten Wort der Maschine. Bei Gesprächen zwischen Menschen liegt diese Pause im Schnitt bei rund 200 Millisekunden, also einem Fünftel einer Sekunde. Sprachassistenten brauchten lange Zeit deutlich länger, oft eine bis drei Sekunden.

Warum eine Sekunde Pause sich falsch anfühlt

Menschen reagieren auf Gesprächspausen sehr empfindlich. Schon eine Verzögerung von einer halben Sekunde deuten wir als Zögern. Wir vermuten dann Unsicherheit, Ablehnung oder eine schlechte Verbindung. Bei einer Maschine entsteht der Eindruck, sie habe die Frage nicht verstanden. Viele Nutzer wiederholen sich dann oder sprechen lauter. Genau in diesem Moment beginnt die Antwort, und beide reden durcheinander.

Deshalb ist die Latenz für Sprachprodukte eine zentrale Kennzahl. Ein Assistent kann inhaltlich hervorragend sein und trotzdem unbrauchbar wirken, wenn er zu spät antwortet. Firmen wie OpenAI, Google und Amazon werben bei neuen Sprachmodellen ausdrücklich mit niedrigen Antwortzeiten. Werte um 300 Millisekunden gelten inzwischen als Ziel für Systeme, die wie ein echtes Gegenüber wirken sollen.

Besonders wichtig ist das bei Anwendungen, in denen Zeit Geld kostet. Ein automatisierter Telefondienst in einer Versicherung führt täglich tausende Gespräche. Sind alle Antworten eine Sekunde zu langsam, verlängert das jedes Gespräch spürbar. Und Anrufer brechen häufiger ab, wenn sich das System träge anfühlt.

Was in der Pause tatsächlich passiert

Die Verzögerung entsteht nicht an einer einzigen Stelle. Klassische Sprachassistenten arbeiten in mehreren Schritten hintereinander. Zuerst muss das System erkennen, dass der Mensch überhaupt fertig ist. Dann wird die Aufnahme in Text übersetzt. Dieser Text geht an das Sprachmodell, das eine Antwort formuliert. Am Ende wandelt ein weiteres Programm den Antworttext in hörbare Sprache um. Jeder dieser Schritte kostet Zeit, und die Zeiten addieren sich.

Der erste Schritt ist überraschend schwierig. Ein System muss unterscheiden, ob jemand eine Denkpause macht oder wirklich geendet hat. Wartet es zu lange, wirkt es schwerfällig. Reagiert es zu schnell, fällt es dem Nutzer mitten im Satz ins Wort. Viele Systeme warten deshalb fest eingestellte 500 bis 800 Millisekunden Stille ab. Diese Sicherheitspause ist oft der größte Einzelposten in der Gesamtlatenz.

Neuere Ansätze verkürzen die Kette, statt einzelne Schritte zu beschleunigen. Sogenannte Sprach-zu-Sprach-Modelle verarbeiten Ton direkt und geben Ton wieder aus, ohne den Umweg über geschriebenen Text. Zusätzlich beginnt die Ausgabe oft schon, bevor der Antwortsatz fertig geplant ist. Man hört also den Anfang, während das Modell den Rest noch berechnet. Ein häufiger Irrtum ist, ein schnellerer Chip löse das Problem allein. Der Aufbau des Systems zählt meist mehr als die reine Rechenleistung.

Von Alexa bis zur Videokonferenz

Am deutlichsten merkt man die Latenz bei Sprachassistenten auf dem Handy oder im Lautsprecher. Der bekannte Moment, in dem man nach einer Frage kurz ins Leere wartet, ist genau diese Kennzahl. Auch Übersetzungsfunktionen in Videokonferenzen kämpfen damit, weil zur Antwortzeit noch die Netzverzögerung kommt. Selbst gute Internetverbindungen fügen leicht 50 bis 100 Millisekunden hinzu.

In Produktankündigungen und Tests taucht der Begriff meist als Zahl in Millisekunden auf. Achte darauf, was genau gemessen wurde. Manche Hersteller geben nur die Rechenzeit des Modells an und lassen Erkennung, Sprachausgabe und Netzweg weg. Für den Nutzer zählt aber nur die gefühlte Pause vom letzten eigenen Wort bis zum ersten Wort der Maschine. Diese Gesamtzeit ist fast immer deutlich höher als der beworbene Wert.