Task-Completion-Rate

Die Task-Completion-Rate ist eine Messzahl. Sie beantwortet eine einfache Frage: Wie viele der gestellten Aufgaben wurden am Ende wirklich fertig? Man gibt einem System oder einer Person hundert Aufgaben und zählt, wie viele davon vollständig gelöst sind. Sind es 72, liegt die Rate bei 72 Prozent. Der englische Name bedeutet wörtlich „Rate der Aufgabenerledigung“; im Deutschen sagt man auch Erfolgsquote. Wichtig ist das Wort „vollständig“: halbe Lösungen zählen nicht mit.

Warum halbe Lösungen nichts wert sind

Viele ältere Kennzahlen messen einzelne Schritte. Ein Sprachmodell kann etwa zu 95 Prozent das nächste Wort richtig vorhersagen. Das klingt gut, sagt aber wenig darüber, ob eine Aufgabe am Ende erledigt ist. Denn eine echte Aufgabe besteht oft aus zwanzig oder fünfzig Schritten. Geht ein einziger schief, ist das Ergebnis unbrauchbar.

Rechne es einmal durch. Bei 95 Prozent Trefferquote pro Schritt und zwanzig Schritten bleiben nur noch rund 36 Prozent erfolgreiche Durchläufe. Kleine Fehlerraten multiplizieren sich also zu großen Ausfällen. Genau diesen Effekt macht die Task-Completion-Rate sichtbar, während Kennzahlen für Einzelschritte ihn verdecken.

Für Unternehmen ist das die entscheidende Zahl. Eine Software, die drei von zehn Buchungen nicht abschließt, spart keine Arbeit. Ein Mensch muss die Fehlversuche nachprüfen und nachbessern. Erst ab einer hohen Erfolgsquote lohnt sich der Einsatz wirtschaftlich.

Wie eine solche Quote gemessen wird

Zuerst braucht man eine Sammlung von Testaufgaben, oft Benchmark genannt. Das ist eine feste Liste von Aufträgen, die alle Systeme gleichermaßen bearbeiten. Zu jeder Aufgabe gehört ein klares Erfolgskriterium. Beispiel: Die Datei liegt am richtigen Ort, oder das Programm läuft ohne Fehlermeldung durch.

Danach wird gezählt und geteilt: erfolgreiche Aufgaben durch Gesamtzahl der Aufgaben. Die Prüfung erfolgt entweder automatisch durch ein Testskript oder von Hand durch Menschen. Automatisch ist billiger, funktioniert aber nur bei Aufgaben mit eindeutigem Ergebnis. Bei einem Text wie „Schreibe eine höfliche Absage“ muss ein Mensch urteilen.

Der häufigste Irrtum ist, Raten aus verschiedenen Tests zu vergleichen. Eine Quote von 80 Prozent ist ohne die Aufgabenliste wertungslos. Wer leichte Aufgaben wählt, bekommt hohe Zahlen. Deshalb steht in seriösen Berichten immer dabei, welcher Benchmark verwendet wurde und wie viele Versuche pro Aufgabe erlaubt waren.

Wo die Zahl in News und Produkten auftaucht

Am häufigsten liest man sie im Zusammenhang mit KI-Agenten. Das sind Programme, die mehrere Schritte selbstständig ausführen, etwa im Browser ein Ticket kaufen. Wenn ein Hersteller ein neues Modell vorstellt, nennt er fast immer eine solche Erfolgsquote. Typische Angaben liegen bei Software-Aufgaben derzeit zwischen 30 und 80 Prozent, je nach Testsammlung.

Auch außerhalb der KI ist die Kennzahl alt und verbreitet. Im Design von Webseiten prüft man damit, ob Testpersonen ein Formular ausfüllen können. Im Kundenservice zählt man, welcher Anteil der Anfragen ohne Rückfrage gelöst wurde. Die Logik ist immer dieselbe: Zählen, was ganz fertig wurde.

Beim Lesen von Ankündigungen lohnt sich Skepsis. Eine hohe Rate kann bedeuten, dass das Modell gut ist, oder dass der Test einfach war. Nützlich wird die Zahl erst im Vergleich: dasselbe Aufgabenpaket, verschiedene Systeme, gleiche Bedingungen. Andere Kennzahlen ergänzen das Bild, etwa die benötigte Zeit und die Kosten pro erledigter Aufgabe.