τ-Voice

τ-Voice ist ein standardisierter Test für sprechende KI-Assistenten. Solche Assistenten nehmen gesprochene Sätze entgegen, antworten mit einer künstlichen Stimme und können nebenbei Aufgaben in einem Computersystem erledigen. Der Test stellt sie in nachgestellte Kundengespräche: Ein simulierter Kunde ruft an und will etwa einen Flug umbuchen oder eine Bestellung zurückgeben. Die KI muss verstehen, worum es geht, nachfragen, wenn etwas unklar ist, und am Ende die richtige Änderung in einer Testdatenbank vornehmen. Bewertet wird streng nach Ergebnis: Stimmt der Datenbankeintrag hinterher, gilt der Durchgang als bestanden, sonst nicht. Der griechische Buchstabe τ (tau) im Namen stammt aus einer älteren Testreihe namens τ-bench, die dasselbe Prinzip mit getippten Texten prüft.

Warum Telefon-KI schwerer ist als Chat-KI

Viele Firmen wollen Telefon-Hotlines von KI bedienen lassen. Der Kostenunterschied ist enorm: Ein Callcenter-Gespräch kostet je nach Land mehrere Euro, ein KI-Gespräch wenige Cent. Entsprechend groß ist der Druck, solche Systeme einzuführen. Aber niemand will eine Hotline, die Termine falsch verschiebt oder Geld auf das falsche Konto überweist.

Genau hier setzt τ-Voice an. Frühere Bewertungen von Sprach-KI drehten sich fast nur um die Stimme. Klingt sie natürlich? Sind die Betonungen richtig? Das sind aber die falschen Fragen, wenn das System echte Vorgänge auslöst. Eine angenehme Stimme, die den falschen Flug storniert, ist wertlos.

Der Test macht außerdem sichtbar, dass Sprache die Aufgabe schwerer macht. Dieselben Modelle, die eine Aufgabe im getippten Chat lösen, scheitern häufiger, wenn sie sie am Telefon lösen sollen. Diese Lücke ist die eigentlich interessante Zahl. Sie zeigt, wie viel Zuverlässigkeit allein durch den Wechsel des Kanals verloren geht.

Der simulierte Anruf Schritt für Schritt

Ein Durchgang besteht aus drei Beteiligten. Erstens ein Kunde, der selbst von einer KI gespielt wird und ein festes Ziel verfolgt, zum Beispiel eine Rückerstattung. Zweitens der getestete Assistent. Drittens eine Testdatenbank mit erfundenen Buchungen und Bestellungen, in der der Assistent tatsächlich etwas ändern kann.

Der Assistent bekommt zusätzlich ein Regelwerk, wie es echte Unternehmen ihren Mitarbeitern geben. Darin steht etwa, dass eine Rückerstattung nur innerhalb von 14 Tagen erlaubt ist. Der simulierte Kunde drängelt dann gerne trotzdem. Der Assistent muss also freundlich bleiben und die Regel trotzdem einhalten. Auch das fließt in die Bewertung ein.

Am Ende vergleicht der Test den Zustand der Datenbank mit dem Soll-Zustand. Teilpunkte gibt es nicht. Oft wird dasselbe Szenario mehrfach durchgespielt, weil KI-Systeme bei gleicher Eingabe nicht immer gleich reagieren. Eine typische Kennzahl lautet dann: In wie viel Prozent der Versuche gelingt die Aufgabe jedes Mal? Diese Zahl ist deutlich niedriger als die Erfolgsquote eines einzelnen Versuchs und näher an dem, was ein Unternehmen wirklich wissen will.

τ-Voice in Modellankündigungen und Produkten

Begegnen wird man dem Begriff vor allem in Pressemitteilungen und technischen Berichten zu neuen Sprachmodellen. Wenn ein Anbieter ein Modell vorstellt, das telefonieren kann, taucht τ-Voice als eine der Vergleichszahlen auf, oft neben Werten für Mathematik oder Programmieren. Wirtschaftsmedien greifen diese Zahlen auf, weil sie den Markt für Callcenter-Software betreffen.

Man sollte solche Werte vorsichtig lesen. Die Szenarien im Test sind bewusst eng gewählt, meist aus den Bereichen Flugreisen und Einzelhandel. Ein guter Wert heißt also nicht, dass das System jede Hotline bedienen kann. Außerdem können Anbieter ihre Systeme gezielt auf bekannte Tests hin optimieren, was die Aussagekraft mit der Zeit abnutzt.

Indirekt trifft man τ-Voice trotzdem im Alltag. Wenn eine Airline oder ein Versandhändler die Telefonannahme an eine KI übergibt, hat vorher jemand geprüft, ob das System zuverlässig genug ist. Tests dieser Art sind die Grundlage solcher Entscheidungen.