Tau Scaling Law

Computerprogramme, die Texte schreiben oder Aufgaben selbstständig erledigen, sind bei kurzen Aufträgen oft sehr verlässlich. Bei langen Aufträgen sinkt ihre Trefferquote dagegen deutlich. Das Tau Scaling Law ist eine Faustregel dafür, wie stark sie sinkt. Der griechische Buchstabe Tau steht in der Physik für eine Zeitdauer, und genau darum geht es hier: um die Länge einer Aufgabe. Die Regel besagt grob, dass sich die Erfolgswahrscheinlichkeit halbiert, wenn eine Aufgabe eine bestimmte Zeitspanne länger dauert. Statt einer festen Note für ein System bekommt man so eine Aussage der Form: Aufgaben bis etwa einer Stunde schafft es meist, Aufgaben über acht Stunden fast nie.

Warum Aufgabenlänge die ehrlichere Messlatte ist

Lange Zeit hat man KI-Systeme mit Prüfungsfragen bewertet. Man legte ihnen Matheaufgaben, Programmieraufgaben oder Multiple-Choice-Tests vor und zählte die richtigen Antworten. Diese Tests dauern jeweils nur Sekunden oder Minuten. Sie sagen deshalb wenig darüber aus, ob ein System einen ganzen Arbeitstag überstehen kann.

Genau das ist aber die wirtschaftlich interessante Frage. Ein Unternehmen will nicht wissen, ob ein System eine Frage beantwortet. Es will wissen, ob es ein Projekt zu Ende bringt. Die Aufgabenlänge, die ein System noch schafft, ist deshalb eine Kennzahl, die man direkt mit menschlicher Arbeit vergleichen kann.

Beobachtungen der letzten Jahre deuten darauf hin, dass diese schaffbare Aufgabenlänge schnell wächst. Manche Auswertungen sprechen von einer Verdopplung etwa alle sieben Monate. Solche Zahlen sind mit Vorsicht zu genießen, weil sie stark von den gewählten Testaufgaben abhängen. Sie erklären aber, warum Investoren und Firmen genau auf diese Kennzahl schauen.

Die Kette aus Einzelschritten

Der Kern des Effekts ist einfache Wahrscheinlichkeitsrechnung. Eine lange Aufgabe besteht aus vielen kleinen Schritten hintereinander. Bei jedem Schritt kann etwas schiefgehen. Damit die Gesamtaufgabe gelingt, müssen praktisch alle Schritte gelingen.

Ein Zahlenbeispiel macht das anschaulich. Nehmen wir an, ein System erledigt jeden einzelnen Schritt mit 99 Prozent Zuverlässigkeit. Bei 10 Schritten kommt es noch in etwa 90 Prozent der Fälle sauber durch. Bei 100 Schritten sind es nur noch rund 37 Prozent. Bei 500 Schritten ist es fast aussichtslos. Die Zuverlässigkeit pro Schritt hat sich dabei kein bisschen verschlechtert.

Mathematisch führt das zu einer Kurve, die anfangs flach verläuft und dann steil abfällt. Die Größe Tau gibt an, wie schnell dieser Absturz kommt. Ein häufiger Irrtum ist, das Gesetz als Naturkonstante zu verstehen. Es ist eine beobachtete Regelmäßigkeit, kein Beweis. Zudem hängt Tau davon ab, wie man Aufgaben zuschneidet und misst.

Vom Chatbot zum digitalen Mitarbeiter

In Nachrichten über KI taucht die Idee meist ohne ihren Namen auf. Wenn ein Anbieter meldet, sein neues Modell arbeite jetzt mehrere Stunden selbstständig an einer Programmieraufgabe, meint er genau diese Kennzahl. Gemeint ist nicht die Rechenzeit, sondern die Zeit, die ein Mensch für dieselbe Arbeit bräuchte.

Besonders wichtig ist das bei sogenannten Agenten. So nennt man KI-Systeme, die nicht nur antworten, sondern eigenständig Werkzeuge bedienen, Dateien ändern oder im Netz suchen. Solche Systeme arbeiten in langen Ketten und sind deshalb genau die Anwendung, bei der das Gesetz beißt.

Für die Praxis folgt daraus eine klare Strategie. Man zerlegt große Aufträge in kurze Teilstücke und prüft nach jedem Stück das Ergebnis. Jede Kontrolle setzt die Fehlerkette wieder auf null. Aus diesem Grund lässt man KI-Agenten selten frei laufen, sondern baut Zwischenstopps ein, an denen ein Mensch oder ein Testprogramm gegenprüft.