Test-Time Reasoning

Programme wie ChatGPT antworten normalerweise sofort. Sie erzeugen ein Wort nach dem anderen und geben das Ergebnis direkt aus. Test-Time Reasoning heißt: das Programm nimmt sich für schwierige Fragen erst einmal Zeit. Es schreibt intern Zwischenschritte auf, probiert Wege aus, verwirft manche wieder und antwortet erst danach. « Test-Time » ist der englische Ausdruck für den Moment, in dem das fertige Programm benutzt wird — im Unterschied zu der langen Lernphase davor. Man verlagert also einen Teil der Leistung vom Lernen in den Augenblick des Antwortens.

Bedenkzeit als zweiter Weg zu besseren Antworten

Jahrelang galt eine einfache Regel in der KI-Branche: Wer besser sein will, muss größer bauen. Mehr Trainingsdaten, mehr Rechenzentren, mehr Lernzeit. Dieser Weg ist teuer geworden, und die Fortschritte fielen zuletzt kleiner aus. Test-Time Reasoning eröffnete 2024 eine zweite Möglichkeit. Man lässt ein bestehendes Programm einfach länger nachdenken und wird dadurch besser, ohne alles neu zu trainieren.

Der Effekt ist bei manchen Aufgaben groß. Bei Mathematikwettbewerben und beim Programmieren stiegen die Trefferquoten teils von unter 20 Prozent auf über 80 Prozent. Der Grund liegt auf der Hand: Bei einer mehrstufigen Rechnung reicht ein einziger falscher Zwischenschritt, damit alles kippt. Wer nachrechnen und korrigieren darf, findet solche Fehler noch selbst.

Es gibt aber eine klare Kehrseite. Eine Antwort mit langer Bedenkzeit kann intern tausende Wörter erzeugen, die der Nutzer nie sieht. Bezahlt wird trotzdem jedes davon. Deshalb sind solche Antworten oft zehn- bis hundertmal teurer und dauern statt einer Sekunde auch mal eine Minute. Für die Frage nach der Hauptstadt von Frankreich ist das Verfahren völlig unsinnig.

Was während der Bedenkzeit passiert

Die Grundtechnik heißt Gedankenkette, englisch Chain of Thought. Das Programm formuliert seinen Lösungsweg in Sätzen aus, so wie man eine Textaufgabe schriftlich rechnet. Diese Zwischenschritte sind kein Beiwerk. Sie stehen im Text, den das Programm gerade erzeugt, und es kann sich beim nächsten Wort darauf beziehen. Das Nachdenken ist also wörtlich sichtbares Notizenmachen.

Darauf setzen mehrere Verfahren auf. Bei einem erzeugt das Programm mehrere unabhängige Lösungswege und nimmt das Ergebnis, das am häufigsten herauskommt — eine Art Abstimmung mit sich selbst. Bei einem anderen prüft es die eigene Zwischenlösung, findet Widersprüche und startet neu. Manche Systeme lassen ein zweites, kleineres Modell die Schritte bewerten und die aussichtsreichsten weiterverfolgen.

Wichtig ist: Das Programm erhält dabei kein neues Wissen. Es nutzt nur besser, was ohnehin in ihm steckt. Ein häufiger Irrtum ist deshalb, dass langes Nachdenken Falschbehauptungen verhindert. Wenn ein Modell ein Faktum nicht kennt, kann es sich mit fünf Minuten Bedenkzeit genauso überzeugend etwas ausdenken wie in fünf Sekunden. Hilfreich ist die Methode dort, wo eine Lösung überprüfbar ist.

Denkmodelle in aktuellen Produkten

Den Durchbruch brachte im September 2024 OpenAIs Modell o1, gefolgt von o3. Kurz darauf zog das chinesische Labor DeepSeek mit R1 nach und legte die Gewichte offen, was in der Branche für Aufsehen sorgte. Google bietet Gemini mit einem « Thinking »-Modus an, Anthropic bei Claude ein « Extended Thinking ». Alle beruhen auf demselben Prinzip.

Im Alltag erkennt man solche Modelle an einem Hinweis wie « Denkt nach… » und einer merklichen Pause. Manche Anbieter zeigen die Gedankenkette in einem ausklappbaren Feld, andere fassen sie nur zusammen. In Entwicklerschnittstellen kann man die Bedenkzeit oft selbst einstellen, etwa in Stufen von niedrig bis hoch.

In Börsen- und Wirtschaftsnachrichten taucht der Begriff meist im Zusammenhang mit Rechenzentren auf. Wenn jede Antwort mehr Rechenleistung verschlingt, steigt der Bedarf an Grafikchips nicht nur für das Training, sondern dauerhaft für den Betrieb. Das ist ein zentrales Argument in der Debatte um die Investitionen von Nvidia, Microsoft und anderen.