Reasoning Traces

Wenn ein Chatprogramm eine schwierige Aufgabe bekommt, kann es sofort antworten oder erst einmal Zwischenschritte aufschreiben. Diese Zwischenschritte nennt man Reasoning Traces, auf Deutsch etwa Denkspuren. Das Programm formuliert dabei Sätze wie „Zuerst rechne ich die Kosten pro Stück aus“ und arbeitet sich Schritt für Schritt vor. Erst danach gibt es die eigentliche Antwort aus. Der Vergleich mit dem Mathe-Heft passt gut: Ein Schüler, der den Rechenweg notiert, macht weniger Fehler als einer, der nur das Ergebnis hinschreibt. Genauso verhält es sich hier – nur dass die Denkspur aus normalem Text besteht, den man mitlesen kann.

Warum sich Nachdenken vor dem Antworten auszahlt

Sprachmodelle erzeugen Text Wort für Wort. Für jedes einzelne Wort steht nur eine begrenzte Menge Rechenarbeit zur Verfügung. Eine Aufgabe mit fünf Denkschritten passt deshalb nicht in ein einziges Wort. Wenn das Modell die Schritte ausschreibt, verteilt es die Arbeit auf viele Wörter. Jedes bereits geschriebene Zwischenergebnis steht dann als Grundlage für den nächsten Schritt bereit.

Der Effekt ist messbar. Bei Matheaufgaben, Logikrätseln und beim Programmieren steigen die Trefferquoten deutlich, wenn ein Modell erst rechnet und dann antwortet. Genau darauf beruhen die sogenannten Reasoning-Modelle, die seit 2024 auf den Markt kommen. Sie sind gezielt darauf trainiert, lange Denkspuren zu erzeugen, bevor sie ein Ergebnis nennen.

Umsonst ist das nicht. Jedes Wort der Denkspur muss berechnet werden und kostet Zeit und Strom. Ein Modell, das vor der Antwort tausend Wörter denkt, ist entsprechend langsamer und teurer im Betrieb. Bei einfachen Fragen lohnt sich der Aufwand nicht – für „Wie spät ist es in Tokio?“ braucht niemand einen Rechenweg.

Wie Modelle das Denken beigebracht bekommen

Zuerst hat man Denkspuren einfach mit einer Anweisung erzwungen. Der Satz „Denke Schritt für Schritt“ in der Frage genügte oft schon, damit ein Modell den Rechenweg ausformulierte. Diese Technik heißt Chain-of-Thought-Prompting. Sie funktioniert, weil in den Trainingsdaten unzählige Lösungswege aus Lehrbüchern und Foren stecken.

Neuere Systeme brauchen diese Aufforderung nicht mehr. Man trainiert sie mit Verstärkungslernen: Das Modell löst tausende Aufgaben, bei denen die richtige Lösung bekannt ist. Führt eine Denkspur zum korrekten Ergebnis, wird dieses Verhalten belohnt und verstärkt. Führt sie in die Irre, wird es geschwächt. Über viele Durchläufe lernt das Modell so von selbst, Ansätze zu prüfen, Fehler zu bemerken und noch einmal von vorn anzufangen.

Ein verbreiteter Irrtum sollte hier ausgeräumt werden: Die Denkspur ist kein Protokoll dessen, was im Modell tatsächlich vorgeht. Sie ist selbst erzeugter Text und kann von der eigentlichen Rechnung abweichen. Forscher haben Fälle gezeigt, in denen ein Modell einen plausiblen Weg aufschreibt, seine Antwort aber aus einem versteckten Hinweis in der Frage zieht. Eine Denkspur ist also ein Hilfsmittel, kein Lügendetektor.

Ausgeblendete Denkspuren in Chatbots und Nachrichten

In gängigen Chatprogrammen taucht die Denkspur oft als eingeklappter Kasten auf, beschriftet mit „Denkt nach“ oder „Reasoning“. Man kann ihn aufklappen und mitlesen, wie das System die Aufgabe zerlegt. Manche Anbieter zeigen allerdings nur eine gekürzte Zusammenfassung. Der Grund ist wirtschaftlicher Natur: Denkspuren sind wertvolles Trainingsmaterial für die Konkurrenz.

Genau darum drehte sich ein Streit Anfang 2025. Nach dem Erfolg des chinesischen Modells DeepSeek R1 stand der Verdacht im Raum, dessen Training habe auf Denkspuren fremder Systeme aufgebaut. Solche Meldungen versteht man nur, wenn man weiß, dass Reasoning Traces eine handelbare Ressource geworden sind.

Auch bei Preisen und Tests begegnet einem der Begriff. Wer ein Modell über eine Programmierschnittstelle nutzt, bezahlt die gedachten Wörter meist mit, obwohl sie nicht in der Antwort stehen. Und wenn Anbieter Ergebnisse aus Mathe- oder Programmierprüfungen zeigen, stammen die Spitzenwerte fast immer von Modellen mit langen Denkspuren.