Temperature (Sampling-Parameter)

Programme wie ChatGPT schreiben Texte Wort für Wort. Vor jedem neuen Wort berechnet das Programm für sehr viele mögliche Fortsetzungen eine Wahrscheinlichkeit. Nach dem Satzanfang « Der Himmel ist » bekommt « blau » vielleicht 60 Prozent, « grau » 20 Prozent, « lila » 0,1 Prozent. Danach muss eine Entscheidung fallen, welches Wort tatsächlich genommen wird. Temperature ist die Stellschraube für genau diese Entscheidung. Sie legt fest, ob fast immer der wahrscheinlichste Vorschlag gewinnt oder ob auch unwahrscheinliche Wörter eine echte Chance bekommen.

Zwischen Langeweile und Unsinn

Die Temperature entscheidet über den Charakter eines Textes. Bei einem sehr niedrigen Wert, etwa 0, wählt das Programm praktisch immer den Spitzenreiter. Das Ergebnis wirkt sachlich und ist bei gleicher Frage fast jedes Mal identisch. Genau das will man bei Übersetzungen, Zusammenfassungen oder generiertem Programmcode.

Bei hohen Werten ab etwa 1,2 kippt das Verhalten. Der Text wird lebendiger, aber auch fehleranfälliger. Ausgefallene Wörter rutschen häufiger durch, und irgendwann zerfällt der Zusammenhang in wirres Zeug. Für Werbetexte, Ideensammlungen oder Gedichte kann ein etwas erhöhter Wert trotzdem nützlich sein.

Wichtig ist eine Abgrenzung, die oft durcheinandergeht. Temperature macht ein Modell nicht klüger und nicht dümmer. Das Wissen im Modell bleibt exakt gleich. Verändert wird nur, wie mutig aus den bereits berechneten Möglichkeiten ausgewählt wird. Ein häufiger Irrtum ist auch, dass Temperature 0 vor Falschaussagen schützt. Eine falsche Behauptung mit hoher Wahrscheinlichkeit wird dann sogar besonders zuverlässig ausgegeben.

Was die Zahl mit den Wahrscheinlichkeiten macht

Technisch wird die Temperature als Divisor eingesetzt. Das Modell erzeugt für jedes mögliche nächste Wort zunächst einen Rohwert, eine Art Punktzahl. Diese Punktzahlen werden durch die Temperature geteilt, bevor sie in Prozentwerte umgerechnet werden. Teilt man durch eine kleine Zahl, werden die Abstände zwischen den Kandidaten größer. Der Favorit zieht davon, die Außenseiter fallen ins Bodenlose.

Bei einer großen Temperature passiert das Gegenteil. Die Punktzahlen rücken zusammen, und die Verteilung wird flacher. Aus 60 zu 20 Prozent kann so 35 zu 28 Prozent werden. Der Zufall bekommt mehr Gewicht. Man kann sich das wie einen Lautstärkeregler für Unterschiede vorstellen: leise Stimmen werden entweder unterdrückt oder mit hochgezogen.

Temperature arbeitet selten allein. Häufig kombiniert man sie mit Top-p, einer Regel, die nur die wahrscheinlichsten Wörter bis zu einer bestimmten Prozentsumme überhaupt zulässt. So bleibt Abwechslung möglich, während völlig absurde Wörter von vornherein ausgeschlossen sind. Ergänzend gibt es einen sogenannten Seed, einen Startwert für den Zufall. Mit festem Seed lässt sich dieselbe zufällige Auswahl später exakt wiederholen.

Der Regler in Chat-Fenstern und Schnittstellen

Wer eine KI nur über eine normale Chat-Oberfläche nutzt, sieht die Temperature meist gar nicht. Die Anbieter setzen dort einen mittleren Standardwert, oft um 0,7 bis 1,0. Deshalb erhält man bei zweimal derselben Frage selten zweimal exakt dieselbe Antwort. Genau dieser Effekt irritiert viele Nutzer, ist aber schlicht die eingebaute Zufallskomponente.

Sichtbar wird der Parameter für Entwickler. Wer ein Modell über eine Programmierschnittstelle anspricht, gibt Temperature als Zahl im Aufruf mit an. Auch Baukästen für Chatbots und Werkzeuge zum Testen von Eingabetexten zeigen einen entsprechenden Schieberegler. In Firmen wird der Wert bewusst gesetzt: eine Kundendienst-Antwort soll verlässlich sein, eine Kampagnenidee darf abweichen.

In Fachartikeln und Modellkarten taucht die Temperature ebenfalls auf. Wenn Forscher Ergebnisse vergleichen, nennen sie den verwendeten Wert, weil sonst niemand die Messung nachvollziehen kann. Auch Berichte über seltsame Ausgaben eines Chatbots erwähnen sie gelegentlich. Ein zu hoch eingestellter Wert ist eine bekannte Erklärung für Antworten, die plötzlich zusammenhanglos wirken.