τ³-Bench
τ³-Bench ist ein Test, mit dem Forscher prüfen, wie gut KI-Assistenten mehrere Aufgaben gleichzeitig bearbeiten und dabei Regeln einhalten. Er simuliert Kundengespräche, in denen ein Programm Werkzeuge bedienen und mit einem Nutzer verhandeln muss.
τ³-Bench ist eine standardisierte Prüfung für Computerprogramme, die selbstständig Aufgaben erledigen. Solche Programme nennt man Agenten: Sie bekommen ein Ziel und wählen selbst die Schritte dorthin. In τ³-Bench spielt ein solcher Agent einen Kundenservice-Mitarbeiter, etwa bei einer Fluggesellschaft. Ein zweites Programm spielt den Kunden und stellt Anfragen, oft mehrere auf einmal. Der Agent muss die Anliegen klären, dabei Datenbanken abfragen und sich an die Regeln des Unternehmens halten. Am Ende zählt, ob der Endzustand stimmt: also ob wirklich das Richtige gebucht, storniert oder erstattet wurde. Der Name spielt auf ältere Testreihen an, deren Aufgaben deutlich einfacher waren.
Warum Firmen genau diesen Test beobachten
Sprachmodelle sind in klassischen Wissenstests längst sehr stark. Sie beantworten Fragen aus Medizin, Recht oder Mathematik oft besser als Menschen. Das sagt aber wenig darüber aus, ob man ihnen echte Arbeitsabläufe anvertrauen kann. Genau da setzt τ³-Bench an: Er misst Handeln statt Wissen.
Der Unterschied ist wirtschaftlich enorm. Ein Unternehmen ersetzt keine Support-Abteilung, weil ein Modell Prüfungsfragen löst. Es ersetzt sie erst, wenn das Modell zuverlässig Tickets abschließt, ohne Kunden falsche Zusagen zu machen. Fehler kosten hier echtes Geld, etwa eine unberechtigte Erstattung.
Die Ergebnisse sind ernüchternd und deshalb interessant. Selbst führende Modelle scheitern an einem großen Teil der Aufgaben, sobald mehrere Anliegen gleichzeitig kommen. Das ist ein nützliches Gegengewicht zu Marketingversprechen über kurz bevorstehende autonome Mitarbeiter.
Der Aufbau der simulierten Kundengespräche
Der Test besteht aus drei Teilen. Erstens gibt es eine simulierte Welt: eine Datenbank mit Buchungen, Kunden und Preisen. Zweitens gibt es Werkzeuge, also Befehle, mit denen der Agent diese Datenbank ändern kann. Drittens gibt es ein Regelwerk, das beschreibt, was erlaubt ist und was nicht.
Der Kunde wird von einem weiteren Sprachmodell gespielt. Es hält sich nicht an ein festes Skript, sondern reagiert frei auf Antworten. Dadurch entstehen Gespräche, die jedes Mal etwas anders verlaufen. Die Bewertung erfolgt trotzdem hart und automatisch: Ein Prüfprogramm vergleicht die Datenbank am Ende mit dem gewünschten Sollzustand.
Das Neue gegenüber früheren Versionen sind verschränkte Aufgaben. Der Kunde will zum Beispiel einen Flug umbuchen und gleichzeitig eine Erstattung für den alten. Beides hängt voneinander ab und beides folgt eigenen Regeln. Typischer Fehler der Modelle: Sie erledigen den ersten Punkt und vergessen den zweiten, oder sie gewähren eine Erstattung, die das Regelwerk verbietet.
Wo die Zahlen in News und Produktankündigungen auftauchen
Direkt begegnet dir τ³-Bench selten, denn es ist ein Werkzeug der Forschung. Indirekt taucht er aber ständig auf. Wenn ein Anbieter ein neues Modell vorstellt, zeigt er meist eine Tabelle mit Benchmark-Werten, also Testergebnissen im Vergleich zur Konkurrenz. Agenten-Tests wie dieser stehen dort inzwischen weit oben.
Für Anleger und Journalisten ist das ein Anhaltspunkt, wie weit die Technik wirklich ist. Ein Sprung von 40 auf 60 Prozent gelöster Aufgaben ist eine handfeste Nachricht. Umgekehrt gilt: Wer Automatisierung im Kundenservice verkauft, muss solche Zahlen liefern.
Ein Vorbehalt gehört dazu. Benchmarks nutzen sich ab, sobald ihre Aufgaben in Trainingsdaten landen. Dann steigen die Werte, ohne dass die Modelle besser handeln. Deshalb entstehen laufend neue Testreihen, und alte Bestwerte verlieren an Aussagekraft.