Full Duplex Bench

Ein echtes Gespräch zwischen zwei Menschen läuft nicht abwechselnd wie ein Funkspruch. Beide hören zu, während der andere spricht. Man wirft ein « mhm » ein, man unterbricht, man merkt, dass der andere fertig ist, noch bevor der Satz endet. Sprechende KI-Systeme konnten das lange nicht: Sie warteten, bis der Mensch aufhörte, und antworteten danach. Neuere Systeme sollen es besser können, und genau dafür gibt es Full Duplex Bench. Das ist eine Sammlung standardisierter Tests, mit der man misst, wie natürlich das Timing eines solchen Sprachsystems ist. « Full Duplex » stammt aus der Nachrichtentechnik und bedeutet: In beide Richtungen gleichzeitig, so wie beim Telefon und anders als beim Walkie-Talkie.

Warum Gesprächstiming über den Eindruck entscheidet

Wer mit einem Sprachassistenten redet, merkt Verzögerungen sofort. Eine Pause von einer Sekunde wirkt schon unangenehm lang. Umgekehrt nervt ein System, das mitten im Satz dazwischenquatscht. Der inhaltliche Teil kann perfekt sein — wenn das Timing nicht stimmt, fühlt sich das Gespräch trotzdem falsch an. Solche Eigenschaften ließen sich lange kaum vergleichen, weil jede Firma ihre eigenen Kriterien nutzte.

Genau das ist der Zweck eines Benchmarks. Ein Benchmark ist ein festgelegter Testparcours, den verschiedene Systeme unter gleichen Bedingungen durchlaufen. Die Ergebnisse werden zu Zahlen, und Zahlen kann man nebeneinanderstellen. Ohne so einen gemeinsamen Maßstab bleiben Werbeaussagen wie « besonders natürliche Gespräche » unüberprüfbar.

Wichtig ist die Abgrenzung: Full Duplex Bench prüft nicht, ob die KI klug antwortet oder die Wahrheit sagt. Dafür gibt es andere Tests. Hier geht es ausschließlich um das Verhalten im zeitlichen Ablauf eines Gesprächs.

Die vier geprüften Gesprächssituationen

Der Test spielt dem Modell aufgezeichnete Gesprächsausschnitte vor und schneidet an einer bestimmten Stelle ab. Dann wird beobachtet, was das System tut. Gemessen wird typischerweise in vier Situationen. Erstens der normale Sprecherwechsel: Der Mensch hat seinen Satz beendet, wie schnell übernimmt die KI? Zweitens die Rückmeldung während des Zuhörens, im Fachjargon Backchannel genannt — also kurze Einwürfe wie « ja » oder « verstehe », die signalisieren, dass man noch dabei ist.

Drittens die Unterbrechung durch den Nutzer. Redet der Mensch dazwischen, sollte die KI innerhalb von Sekundenbruchteilen verstummen und auf das Neue eingehen. Viertens die Pause mitten im Satz: Wenn jemand kurz überlegt, darf das System nicht sofort das Wort an sich reißen. Bewertet wird jeweils in Millisekunden und über Trefferquoten, etwa wie oft eine Unterbrechung korrekt erkannt wurde.

Die Auswertung übernimmt teils Software, teils ein größeres Sprachmodell, das die Aufnahmen beurteilt. Das ist praktisch, hat aber eine Schwäche: Ein automatischer Bewerter hat eigene blinde Flecken. Gute Werte im Benchmark bedeuten deshalb nicht automatisch, dass echte Nutzer das Gespräch als angenehm empfinden.

Sprachmodelle, die man unterbrechen kann

Begegnen wird man dem Begriff vor allem bei den Sprachfunktionen großer KI-Anbieter. Systeme wie der Sprachmodus von ChatGPT, Googles Gemini Live oder Assistenten in Autos und Smart Speakern werben damit, dass man ihnen ins Wort fallen darf. Wenn eine Firma solche Fortschritte belegen will, greift sie zu Messwerten aus Benchmarks dieser Art.

In Tech-News taucht Full Duplex Bench daher meist in Tabellen auf, in denen mehrere Modelle mit Latenzwerten verglichen werden. Latenz meint die Verzögerung zwischen Eingabe und Reaktion. Wer solche Tabellen liest, sollte wissen, dass sie nur einen Ausschnitt zeigen. Ein Modell kann beim Timing vorn liegen und inhaltlich schwächer sein.

Praktisch relevant wird das bei Telefon-Hotlines und Sprachbedienung im Auto. Dort ist flüssiges Reden kein Luxus, sondern entscheidet darüber, ob Menschen die Technik überhaupt benutzen. Benchmarks wie dieser sind der Versuch, diesen Eindruck messbar zu machen, statt ihn nur zu behaupten.