Effort-Setting

Moderne Chatprogramme, die Texte schreiben und Aufgaben lösen, brauchen für eine Antwort nicht immer gleich viel Rechenzeit. Manche Fragen sind in einer Zehntelsekunde beantwortet, andere verlangen mehrere gedankliche Zwischenschritte. Das Effort-Setting ist die Einstellung, mit der man vorgibt, wie viel Aufwand das Programm treiben darf. Üblich sind Stufen wie niedrig, mittel und hoch, manchmal auch eine Stufe, die das Nachdenken praktisch abschaltet. Man verändert damit nicht das Programm selbst, sondern nur sein Verhalten bei diesem einen Auftrag. Der Vergleich liegt nahe: eine Klausurfrage kann man in zwei Minuten hinschreiben oder eine halbe Stunde lang durchrechnen.

Warum Anbieter überhaupt einen Aufwandsregler einbauen

Jede Antwort kostet Strom und Rechenzeit in einem Rechenzentrum. Wer eine solche KI in ein Produkt einbaut, zahlt pro Anfrage. Eine hohe Stufe kann leicht das Fünf- oder Zehnfache einer niedrigen kosten. Bei Millionen Anfragen pro Tag entscheidet diese Einstellung also direkt über die Betriebskosten.

Der zweite Grund ist Geduld. Ein Nutzer, der eine Rechtschreibkorrektur will, wartet nicht dreißig Sekunden auf das Ergebnis. Umgekehrt nimmt jemand, der einen komplizierten Programmierfehler sucht, eine lange Wartezeit gerne in Kauf. Ohne Regler müsste der Anbieter einen Kompromiss für alle festlegen, der niemandem richtig passt.

Wichtig ist die Abgrenzung zur Modellgröße. Ein größeres Modell hat mehr gelerntes Wissen und mehr Fähigkeiten. Das Effort-Setting ändert daran nichts, es gibt demselben Modell nur mehr oder weniger Zeit zum Arbeiten. Man kauft also keine zusätzliche Intelligenz, sondern mehr Sorgfalt.

Was auf hoher Stufe im Hintergrund passiert

Solche Systeme erzeugen Text Stück für Stück, immer das nächste Wort. Bei hohem Aufwand erzeugen sie vor der eigentlichen Antwort erst einen internen Gedankengang. Sie schreiben also unsichtbare Zwischenschritte, prüfen Teilergebnisse und verwerfen Ansätze. Erst danach folgt der Text, den der Nutzer sieht.

Diese unsichtbaren Zwischenschritte kosten genauso Rechenzeit wie sichtbarer Text. Deshalb messen Anbieter den Aufwand oft in Tokens, also in Textbausteinen von etwa vier Buchstaben Länge. Eine niedrige Stufe erlaubt vielleicht ein paar hundert solcher Bausteine zum Nachdenken. Eine hohe Stufe erlaubt Zehntausende. Genau daher stammt der Kostenunterschied.

Ein verbreiteter Irrtum ist, dass die höchste Stufe immer die besten Antworten liefert. Bei einfachen Aufgaben bringt sie kaum Verbesserung und kann sogar schaden. Das Modell redet sich dann manchmal in überkomplizierte Lösungen hinein, obwohl die naheliegende richtig war. Sinnvoll ist deshalb, die Stufe zur Schwierigkeit der Aufgabe passend zu wählen.

Wo die Stufen im Alltag auftauchen

In Chat-Oberflächen versteckt sich das Effort-Setting oft hinter Knöpfen wie „Denk länger nach“ oder hinter der Auswahl zwischen einem schnellen und einem gründlichen Modus. Manche Anbieter lassen ein Vorschaltsystem selbst entscheiden, welche Stufe eine Frage verdient. Der Nutzer merkt davon nur, dass eine Antwort mal sofort und mal nach zwanzig Sekunden erscheint.

Für Entwickler ist es ein Parameter in der Programmierschnittstelle, meist ein Wort wie „low“, „medium“ oder „high“ im Auftrag an den Server. Wer eine App baut, setzt für Kurzantworten eine niedrige Stufe und für Analysen eine hohe. So lässt sich die Rechnung am Monatsende gezielt steuern.

In Nachrichten und Produktankündigungen begegnet dir der Begriff bei Vergleichstabellen. Dort steht dann, ein Modell erreiche auf hoher Stufe einen bestimmten Prozentwert in einem Mathematiktest. Solche Angaben sind nur vergleichbar, wenn die Stufe mitgenannt wird. Fehlt sie, sagt die Zahl wenig aus.