τ-Bench

τ-Bench ist ein Prüfverfahren für Computerprogramme, die selbstständig Aufgaben für Menschen erledigen. Solche Programme nennt man Assistenten oder Agenten: Sie führen ein Gespräch und lösen dabei nebenbei eine Aufgabe. In τ-Bench spielt das Programm einen Kundenservice-Mitarbeiter, etwa bei einer Fluggesellschaft oder einem Online-Shop. Ein zweites Programm spielt den Kunden und stellt Fragen oder äußert Wünsche. Der Assistent muss verstehen, was gewollt ist, in einer nachgebauten Firmendatenbank nachschauen und dann tatsächlich etwas ändern, zum Beispiel einen Flug umbuchen. Am Ende wird geprüft, ob die Datenbank hinterher exakt den Zustand hat, den sie haben sollte. Der Name kommt vom griechischen Buchstaben Tau, der für “tool-agent-user” steht, also Werkzeug, Agent und Nutzer.

Warum Kundenservice der ehrlichere Härtetest ist

Die meisten bekannten Tests für KI-Modelle bestehen aus Einzelfragen mit einer richtigen Antwort. Mathe-Aufgaben, Multiple-Choice-Fragen aus dem Medizinstudium, Programmierrätsel. Solche Tests messen Wissen und Denkvermögen, aber nicht Verlässlichkeit über Zeit. Ein Modell kann in Mathe glänzen und trotzdem im dritten Gesprächsschritt vergessen, dass der Kunde einen Fensterplatz wollte.

Genau hier setzt τ-Bench an. Ein Vorgang zieht sich über viele Nachrichten hin, und der Kunde rückt seine Informationen oft nur stückweise heraus. Der Assistent muss nachfragen, wenn etwas fehlt. Er muss außerdem Regeln der Firma befolgen, die ihm vorab als Text gegeben werden. Eine typische Regel lautet: Bei bestimmten Tarifen darf ohne Zustimmung des Kunden nichts storniert werden.

Die Ergebnisse waren bei der Veröffentlichung 2024 ernüchternd. Selbst starke Modelle lösten in der Fluglinien-Umgebung weniger als die Hälfte der Aufgaben korrekt. Noch aussagekräftiger ist ein zweiter Wert: Lässt man dieselbe Aufgabe achtmal laufen, schaffen gute Modelle es oft nur bei einem Bruchteil der Versuche jedes Mal richtig. Für Firmen ist das entscheidend, denn ein Assistent, der in einem von vier Fällen falsch bucht, ist nicht einsetzbar.

Simulierter Kunde, echte Datenbank

Der Testaufbau besteht aus drei Teilen. Erstens die Umgebung: eine kleine Datenbank mit erfundenen Bestellungen, Flügen und Kundenkonten. Zweitens ein Satz von Werkzeugen, also Befehle wie “Flug suchen” oder “Bestellung stornieren”, die der Assistent aufrufen darf. Drittens ein Sprachmodell, das den Kunden spielt und dabei eine vorgegebene Rolle samt Zielen bekommt.

Die Bewertung ist bewusst hart und völlig automatisch. Es zählt nicht, ob die Antwort höflich oder plausibel klingt. Verglichen wird der Zustand der Datenbank nach dem Gespräch mit einem hinterlegten Sollzustand. Weicht ein einziges Feld ab, gilt die Aufgabe als gescheitert. Zusätzlich wird geprüft, ob der Assistent dem Kunden alle geforderten Informationen genannt hat.

Aus mehreren Durchläufen berechnen die Entwickler die Kennzahl pass^k. Sie gibt an, wie oft ein Modell bei k Versuchen jedes Mal erfolgreich war. Ein häufiger Irrtum ist, das mit pass@k aus der Programmierbewertung zu verwechseln, wo ein einziger Treffer aus mehreren Versuchen reicht. Bei τ-Bench ist es umgekehrt: Ein Fehlversuch verdirbt das Ergebnis, weil im echten Kundenservice niemand acht Versuche hat.

τ-Bench in Modell-Ankündigungen

Wer Pressemitteilungen zu neuen KI-Modellen liest, stößt regelmäßig auf τ-Bench. Anthropic, OpenAI und andere Anbieter führen die Werte an, wenn sie zeigen wollen, dass ein Modell nicht nur redet, sondern zuverlässig handelt. Meist werden zwei Zahlen genannt, eine für die Einzelhandels-Umgebung und eine für die Fluglinien-Umgebung. Die Fluglinien-Werte fallen fast immer schlechter aus, weil dort mehr Regeln gleichzeitig gelten.

Praktisch relevant ist der Test überall dort, wo KI in Firmenabläufe eingebaut wird. Buchungssysteme, Rückerstattungen, Terminvergabe, Bestellverwaltung. Inzwischen gibt es mit τ²-Bench eine Erweiterung, in der auch der Kunde selbst Aktionen ausführen muss, etwa das Handy neu starten. Für dich als Leser ist der Wert vor allem eine Warnleuchte: Solange die Zahlen deutlich unter hundert Prozent liegen, sollte am Ende solcher Vorgänge noch ein Mensch mitschauen.