Tau-Scaling

Ein Sprachmodell schreibt Text nicht am Stück, sondern Wortbaustein für Wortbaustein. Vor jedem Schritt berechnet es für tausende mögliche Fortsetzungen eine Wahrscheinlichkeit. Diese Wahrscheinlichkeiten sind noch nicht die Antwort, sondern nur ein Vorschlag: Ein Wort bekommt 60 Prozent, ein anderes 20, der Rest verteilt sich auf den Rest. Tau-Scaling ist der Griff, mit dem man diese Verteilung vor der Auswahl noch einmal verzerrt. Der Name kommt vom griechischen Buchstaben Tau, der in den Formeln für diesen Regler steht. Umgangssprachlich heißt derselbe Regler oft schlicht Temperatur.

Der Regler zwischen Langeweile und Unsinn

Ohne diesen Regler hätte man nur zwei unbefriedigende Möglichkeiten. Entweder das Modell nimmt immer das wahrscheinlichste Wort, dann klingt es steif und wiederholt sich. Oder es würfelt frei nach den rohen Wahrscheinlichkeiten, dann rutschen ihm regelmäßig abwegige Wörter durch. Tau-Scaling macht aus dieser Entweder-oder-Frage einen stufenlosen Übergang.

Das ist praktisch wichtig, weil verschiedene Aufgaben Unterschiedliches verlangen. Wer ein Modell Rechenaufgaben lösen oder Programmcode schreiben lässt, will Verlässlichkeit. Dort stellt man den Wert sehr niedrig ein, oft auf 0,0 bis 0,2. Wer Werbetexte, Namensideen oder Geschichten erzeugen will, stellt ihn höher, typischerweise 0,8 bis 1,2.

Ein verbreiteter Irrtum ist, ein hoher Wert mache das Modell kreativer im Sinne von klüger. Das stimmt nicht. Der Regler verändert kein Wissen und keine Fähigkeit. Er verändert nur, wie stark das Modell von seiner eigenen Lieblingsantwort abweichen darf. Bei sehr hohen Werten steigt vor allem die Zahl der frei erfundenen Behauptungen.

Was mit den Wahrscheinlichkeiten passiert

Technisch werden die Rohwerte des Modells vor dem letzten Rechenschritt durch Tau geteilt. Ist Tau kleiner als eins, werden die Abstände zwischen den Kandidaten größer. Der Favorit zieht davon, alle anderen fallen zurück. Ist Tau größer als eins, schrumpfen die Abstände, und Außenseiter bekommen eine echte Chance.

Eine Analogie: Stell dir eine Klasse vor, die über ein Ausflugsziel abstimmt. Bei niedrigem Tau zählt nur, welches Ziel vorne liegt, der Rest wird ignoriert. Bei hohem Tau wird jede Stimme fast gleich behandelt, sodass auch ein Vorschlag mit drei Stimmen gewinnen kann. Der Wahlausgang ändert sich, obwohl niemand seine Meinung geändert hat.

Tau-Scaling wird selten allein eingesetzt. Meist kombiniert man es mit Verfahren, die vorher die schlechtesten Kandidaten ganz aussortieren. Bekannt sind Top-k, das nur die k besten Wörter zulässt, und Top-p, das nur so viele Wörter zulässt, bis eine bestimmte Gesamtwahrscheinlichkeit erreicht ist. Erst danach wirkt der Tau-Regler auf den verbliebenen Rest.

Wo der Regler in der Praxis auftaucht

In den Schnittstellen der großen Anbieter ist der Wert ein ganz normaler Parameter. Wer über eine Programmierschnittstelle mit einem Modell spricht, setzt dort meist ein Feld namens temperature. In Chat-Oberflächen für Endnutzer ist der Regler dagegen oft versteckt oder fest eingestellt, damit niemand aus Versehen unbrauchbare Ausgaben erzeugt.

Der Begriff erklärt auch eine Beobachtung, die viele Nutzer irritiert. Dieselbe Frage liefert an zwei Tagen zwei verschiedene Antworten. Das liegt nicht an einem Update, sondern daran, dass der Wert über null steht und bei jeder Anfrage neu gewürfelt wird. Nur bei Tau gleich null ist die Ausgabe weitgehend reproduzierbar.

In Fachmeldungen begegnet einem der Begriff außerdem im Zusammenhang mit Auswertungen. Vergleicht man zwei Modelle in einem Test, muss dieser Wert gleich eingestellt sein. Sonst misst man nicht die Qualität der Modelle, sondern nur die unterschiedliche Einstellung des Reglers. Genau darüber wird bei veröffentlichten Bestenlisten regelmäßig gestritten.