Test-Time Compute

Ein KI-System wie ChatGPT durchläuft zwei ganz verschiedene Lebensphasen. Zuerst wird es über Wochen mit riesigen Textmengen geübt, bis es Muster in Sprache erkennt. Danach ist es fertig und beantwortet Fragen von Nutzern. Test-Time Compute ist die Rechenarbeit, die genau in dieser zweiten Phase anfällt – also beim Beantworten selbst. Der Name kommt daher, dass Forscher diese Phase früher den Testlauf nannten, im Gegensatz zur Übungsphase. Die zentrale Beobachtung dahinter: Wenn man ein System in diesem Moment einfach länger rechnen lässt, werden seine Antworten messbar besser.

Ein zweiter Hebel neben immer größeren Modellen

Jahrelang folgte die KI-Branche einer einfachen Regel: mehr Daten, mehr Rechenzentren, größere Systeme. Das funktionierte gut, wurde aber extrem teuer. Ein einziger Übungsdurchlauf kostet bei den großen Anbietern dreistellige Millionenbeträge. Außerdem mehrten sich ab 2024 Hinweise, dass reines Vergrößern immer weniger zusätzlichen Nutzen bringt.

Test-Time Compute öffnete einen zweiten Weg. Statt das System größer zu machen, gibt man ihm pro Frage mehr Bedenkzeit. OpenAI zeigte das im September 2024 mit dem Modell o1, das bei Mathematikaufgaben sprunghaft besser abschnitt als sein Vorgänger. Die Grundlage war dieselbe Technik, nur durfte das System vor der Antwort deutlich länger rechnen.

Wirtschaftlich verschiebt das die Kosten. Früher zahlte ein Anbieter vor allem einmalig für das Training. Jetzt fällt ein großer Teil der Kosten bei jeder einzelnen Anfrage an. Das erklärt, warum Firmen wie Nvidia auch für den laufenden Betrieb immer neue Spezialchips verkaufen.

Denken in Zwischenschritten und mehrere Anläufe

Die häufigste Methode heißt Chain of Thought, also Gedankenkette. Das System schreibt sich vor der eigentlichen Antwort eine Art Notizzettel: Zwischenschritte, Teilrechnungen, Überlegungen. Diese Notizen bekommt der Nutzer meist gar nicht zu sehen. Sie helfen dem System aber, einen Fehler im dritten Schritt nicht bis zum Ergebnis mitzuschleppen.

Eine zweite Methode ist simples Wiederholen. Das System erzeugt fünf oder zwanzig Lösungsvorschläge für dieselbe Aufgabe. Danach wählt es eine davon aus, etwa die Antwort, die am häufigsten vorkam. Bei Aufgaben mit klar prüfbarem Ergebnis, etwa Rechenaufgaben oder Programmcode, funktioniert das erstaunlich gut. Manchmal prüft ein zweites, kleineres Modell die Vorschläge und bewertet sie.

Wichtig ist eine Abgrenzung: Das System lernt dabei nichts dazu. Sein Wissen bleibt exakt gleich, nur die Nutzung wird gründlicher. Ein verbreiteter Irrtum ist auch, dass mehr Rechenzeit immer hilft. Bei einer Wissensfrage, deren Antwort das System schlicht nicht kennt, bringt langes Nachdenken nichts. Der Effekt ist am stärksten bei Aufgaben mit mehreren logischen Schritten.

Sichtbar im Denkmodus von Chatbots

Wer heute ChatGPT, Google Gemini oder Claude benutzt, kann Test-Time Compute oft direkt anschalten. Diese Dienste bieten einen Modus mit Namen wie « Reasoning », « Thinking » oder « Denken ». Die Antwort dauert dann statt zwei Sekunden vielleicht dreißig. Häufig läuft dabei ein Hinweistext mit, der grob zeigt, woran das System gerade arbeitet.

In Nachrichten taucht der Begriff meist im Zusammenhang mit Scaling auf, also der Frage, wie KI-Systeme künftig besser werden. Analysten diskutieren, ob Rechenzeit beim Antworten das Wachstum der Trainingskosten ablösen kann. Auch chinesische Anbieter wie DeepSeek wurden bekannt, weil sie diesen Ansatz sehr günstig umsetzten.

Für Nutzer hat das eine praktische Folge. Der Denkmodus kostet in kostenpflichtigen Tarifen mehr oder ist stärker begrenzt als der schnelle Modus. Für eine Rezeptidee lohnt er sich nicht. Für eine schwierige Physikaufgabe oder eine Fehlersuche im Programmcode oft schon.