Thinking-Budget

Moderne Chat-Programme wie ChatGPT oder Gemini geben ihre Antwort nicht immer sofort. Manche rechnen vorher noch eine Weile für sich, schreiben also erst einmal Notizen, die der Nutzer gar nicht sieht. Dieses stille Vorarbeiten kostet Rechenzeit, und Rechenzeit kostet Geld. Ein Thinking-Budget ist die Obergrenze, die man dafür festlegt. Man sagt dem Programm im Grunde: Du darfst höchstens so viel Vorarbeit leisten, dann musst du antworten. In der Praxis wird diese Grenze meist in Wortbausteinen angegeben, also in der Menge an Text, die das Programm intern produzieren darf.

Warum Nachdenken plötzlich Geld kostet

Bis vor kurzem galt: Ein KI-Modell wird groß und teuer trainiert, danach ist jede Antwort ungefähr gleich aufwendig. Seit 2024 hat sich das verschoben. Modelle werden gezielt darauf trainiert, sich vor der Antwort selbst Zwischenschritte aufzuschreiben. Bei Mathematik, Programmieraufgaben oder verschachtelten Fragen werden die Antworten dadurch deutlich besser. Der Preis dafür fällt aber nicht einmalig beim Training an, sondern bei jeder einzelnen Anfrage.

Genau deshalb braucht man einen Regler. Für die Frage nach der Hauptstadt von Peru ist langes Grübeln reine Verschwendung. Für einen Beweis in der Geometrie kann es den Unterschied zwischen richtig und falsch ausmachen. Ohne Obergrenze würde ein Modell auch bei banalen Fragen minutenlang rechnen und Kosten verursachen, die niemand braucht.

Für Firmen, die solche Modelle in eigene Produkte einbauen, ist das Budget deshalb eine betriebswirtschaftliche Größe. Es entscheidet mit darüber, ob ein Kundenservice-Assistent pro Gespräch Cent oder Euro kostet. Ein zu knappes Budget spart Geld, macht das Produkt aber schlechter. Diese Abwägung ist ein zentrales Thema, wenn Anbieter über die Rentabilität von KI-Diensten sprechen.

Vom Regler zur Rechnung

Technisch schreibt das Modell seine Zwischenschritte als normalen Text, nur eben in einen internen Bereich. Dieser Text wird in Tokens gemessen, also in kleine Textbausteine von etwa vier Zeichen Länge. Ein Thinking-Budget von 8.000 Tokens erlaubt dem Modell rund 6.000 Wörter Vorarbeit. Erreicht es die Grenze, bricht es den Gedankengang ab und formuliert mit dem, was es hat, eine Antwort.

Bei den großen Anbietern lässt sich das Budget auf verschiedene Weise setzen. Google erlaubt bei Gemini eine konkrete Token-Zahl und den Wert Null, der das Nachdenken ganz abschaltet. Anthropic und OpenAI arbeiten eher mit Stufen wie niedrig, mittel und hoch. Manche Modelle schätzen inzwischen selbst ein, wie schwer eine Frage ist, und wählen die Stufe automatisch.

Wichtig ist ein häufiger Irrtum: Mehr Budget bedeutet nicht automatisch bessere Antworten. Ab einem bestimmten Punkt bringt zusätzliche Rechenzeit kaum noch Verbesserung. Bei einfachen Fragen kann langes Grübeln die Antwort sogar verschlechtern, weil das Modell sich in Nebenwegen verliert. Das Budget ist eine Obergrenze, kein Qualitätsversprechen.

Wo der Regler im Alltag auftaucht

Als Nutzer siehst du das Budget selten als Zahl. Du triffst es aber in verkleideter Form. Wenn du in einer Chat-App zwischen einem schnellen und einem gründlichen Modus wählst, verstellst du im Kern genau diesen Regler. Auch Hinweise wie „Denkt nach…“ während des Wartens zeigen an, dass ein Budget gerade verbraucht wird.

Sichtbar wird es dagegen für Entwickler. Wer ein Modell über eine Programmierschnittstelle anspricht, gibt das Budget als Parameter mit an und bezahlt die verbrauchten Tokens. Deshalb tauchen Thinking-Budgets regelmäßig in Preistabellen und Produktankündigungen auf. Wenn ein Anbieter meldet, sein neues Modell erreiche die gleiche Leistung mit halb so viel Nachdenken, geht es um genau diese Kosten.