Controllable Effort

Wenn du eine Textfrage an ein Computerprogramm stellst, das Antworten formuliert, kann dieses Programm schnell oder gründlich arbeiten. Schnell heißt: Es schreibt sofort los. Gründlich heißt: Es probiert im Hintergrund mehrere Lösungswege aus, verwirft schlechte und prüft das Ergebnis noch einmal. Controllable Effort bedeutet, dass man diesen Unterschied selbst einstellen kann. Man dreht sozusagen an einem Regler zwischen « schnell und günstig » und « langsam und sorgfältig ». Der Regler verändert nicht das Programm selbst, sondern nur, wie viel Arbeit es sich pro Frage macht.

Warum ein Regler besser ist als eine feste Einstellung

Nicht jede Frage verdient denselben Aufwand. « Wie viele Bundesländer hat Deutschland? » ist in einer Zehntelsekunde beantwortet. Ein Beweis in der Mathematik oder ein längeres Programmierproblem braucht dagegen viele Zwischenschritte. Ein System, das immer maximal nachdenkt, verschwendet bei einfachen Fragen Geld und Zeit. Ein System, das nie nachdenkt, scheitert an den schweren Fällen.

Für Firmen ist das vor allem eine Kostenfrage. Jede Antwort einer KI kostet Rechenzeit in einem Rechenzentrum, und diese Rechenzeit wird bezahlt. Wenn ein Unternehmen täglich Millionen Anfragen bearbeitet, macht es einen riesigen Unterschied, ob eine durchschnittliche Antwort 200 oder 5000 Rechenschritte braucht. Mit einem Effort-Regler kann man die teure Variante für die wenigen schwierigen Fälle reservieren.

Dazu kommt die Wartezeit. Nutzer brechen ab, wenn ein Chat zwanzig Sekunden schweigt. Bei einer Suchanfrage im Browser zählt Geschwindigkeit mehr als letzte Präzision. Bei einer medizinischen oder juristischen Auswertung ist es genau umgekehrt. Der Regler erlaubt es, für beide Situationen dasselbe Modell zu verwenden.

Was das Modell mit dem zusätzlichen Aufwand macht

Moderne Sprachmodelle erzeugen vor der eigentlichen Antwort oft einen internen Text, in dem sie das Problem Schritt für Schritt zerlegen. Dieser Zwischentext heißt Gedankenkette. Je mehr Aufwand erlaubt ist, desto länger darf diese Kette werden. Bei niedriger Stufe wird sie stark gekürzt oder ganz übersprungen.

Technisch wird der Regler meist als Obergrenze für Textbausteine umgesetzt. Ein Textbaustein, im Fachjargon Token, ist ein Wortteil von wenigen Zeichen. Eine Einstellung wie « low », « medium » oder « high » legt fest, wie viele solcher Bausteine das Modell für sein internes Nachdenken verbrauchen darf. Manche Anbieter lassen stattdessen eine konkrete Zahl setzen, etwa maximal 8000 Bausteine.

Ein zweiter Weg ist, dieselbe Frage mehrfach beantworten zu lassen und die Ergebnisse zu vergleichen. Fünf Durchläufe kosten grob das Fünffache, liefern aber eine stabilere Antwort. Wichtig ist ein häufiges Missverständnis: Mehr Aufwand macht das Modell nicht klüger, sondern nur sorgfältiger. Wissen, das im Training nie gelernt wurde, entsteht auch durch längeres Grübeln nicht. Und ab einem gewissen Punkt bringt zusätzlicher Aufwand kaum noch bessere Ergebnisse.

Effort-Stufen in heutigen Produkten

In Chat-Oberflächen taucht der Regler als Auswahlmenü auf. Dort stehen Bezeichnungen wie « schnell », « denken » oder « tief recherchieren ». Wählt man die gründliche Stufe, sieht man oft einen Hinweis, dass die Antwort länger dauert. Bei einigen Anbietern ist die teure Stufe zusätzlich pro Tag begrenzt.

Für Entwickler ist die Einstellung ein Parameter in der Programmierschnittstelle. Ein Team kann damit im Programmcode festlegen, dass Standardanfragen billig laufen und nur markierte Spezialfälle die hohe Stufe bekommen. Manche Systeme entscheiden das inzwischen automatisch: Ein kleines Vorschaltmodell schätzt die Schwierigkeit einer Frage und wählt die passende Stufe selbst.

In Nachrichten über KI begegnet dir der Begriff meist im Zusammenhang mit Kosten und Vergleichstests. Anbieter geben Bestwerte oft für die höchste Effort-Stufe an, obwohl im Alltag eine niedrigere läuft. Wer Zahlen aus solchen Tests liest, sollte deshalb immer prüfen, mit welcher Stufe gemessen wurde.