Big Bench Audio

Big Bench Audio ist eine Sammlung von Testaufgaben für Computerprogramme, die Sprache verstehen und beantworten sollen. Die Aufgaben sind Denkaufgaben: kurze Rätsel, bei denen man Schritt für Schritt logisch schließen muss. Das Besondere ist, dass die Aufgaben nicht als Text vorliegen, sondern als Tonaufnahme. Jemand spricht das Rätsel ein, das Programm hört zu und antwortet. So lässt sich vergleichen, ob dasselbe Programm schlechter denkt, wenn es hören statt lesen muss. Die Aufgaben stammen aus einer älteren, sehr bekannten Textsammlung namens BIG-bench, die nachträglich vertont wurde.

Warum Zuhören schwerer ist als Lesen

Lange Zeit funktionierten sprechende Assistenten in zwei getrennten Schritten. Zuerst wandelte ein Programm die Tonaufnahme in Text um. Dann las ein zweites Programm diesen Text und formulierte eine Antwort. Bei diesem Umweg geht Information verloren, etwa wenn ein Wort falsch verstanden wird. Ein einziger Fehler im Zwischentext kann die ganze Logikaufgabe kippen.

Neuere Systeme verarbeiten den Ton direkt, ohne den Umweg über geschriebene Wörter. Solche Systeme nennt man oft nativ sprachfähig. Die Hoffnung ist, dass sie dadurch weniger Fehler machen und schneller antworten. Big Bench Audio misst, ob diese Hoffnung stimmt.

Der Test deckte dabei eine unangenehme Lücke auf. Viele Programme lösten dieselbe Aufgabe deutlich zuverlässiger, wenn sie sie lesen durften. Diesen Abstand nennt man Reasoning Gap, also die Denklücke zwischen Text und Ton. Sie ist ein wichtiger Maßstab dafür, wie weit Sprachassistenten noch von echter Alltagstauglichkeit entfernt sind.

Aufbau der Testsammlung

Die Sammlung enthält etwas mehr als tausend Aufgaben. Sie stammen aus vier Kategorien der ursprünglichen Textsammlung. Dazu gehören zum Beispiel Aufgaben, bei denen man den Zustand von Objekten über mehrere Schritte verfolgen muss. Ein typisches Beispiel: Drei Personen tauschen nacheinander Bälle, und am Ende soll man sagen, wer welchen Ball hat.

Jede Aufgabe liegt doppelt vor, einmal als geschriebener Text und einmal als Audioaufnahme. Genau diese Doppelung macht den Test aussagekräftig. Man lässt ein Programm beide Fassungen bearbeiten und vergleicht die Trefferquoten. Ist die Audioquote niedriger, liegt das nicht an der Schwierigkeit der Aufgabe, sondern am Hören.

Die Auswertung selbst ist unkompliziert. Zu jeder Aufgabe gibt es genau eine richtige Antwort. Ein Prüfprogramm vergleicht die Ausgabe mit der Musterlösung und zählt die Treffer. Das Ergebnis ist eine Prozentzahl, die sich leicht zwischen verschiedenen Anbietern vergleichen lässt.

Was der Test über Sprachassistenten verrät

In den Nachrichten taucht Big Bench Audio auf, wenn ein Unternehmen ein neues Sprachmodell vorstellt. Die Hersteller veröffentlichen dann Tabellen mit Punktzahlen aus mehreren solcher Tests. Big Bench Audio steht dort für die Frage, ob das Modell auch beim Zuhören logisch bleibt. Wer die Zahlen liest, sollte wissen: Hohe Werte in einem Test bedeuten nicht automatisch gute Leistung im Alltag.

Für Nutzerinnen und Nutzer zeigt sich das Problem konkret bei Assistenten am Telefon oder im Auto. Eine einfache Frage nach dem Wetter klappt fast immer. Eine Frage mit mehreren Bedingungen, etwa eine Terminverschiebung mit Rücksicht auf zwei andere Termine, geht häufiger schief. Genau diese Art von Aufgabe bildet der Test ab.

Ein häufiger Irrtum ist, Big Bench Audio mit einem Spracherkennungstest zu verwechseln. Es geht nicht darum, ob ein Programm jedes Wort korrekt abtippt. Es geht darum, ob es nach dem Hören noch richtig denkt. Wer beides vermischt, zieht aus den Punktzahlen falsche Schlüsse.