Sampler
Ein Sampler ist das Verfahren, mit dem ein Sprachmodell aus einer Liste möglicher nächster Wörter eines auswählt. Er entscheidet, ob eine Antwort vorhersehbar und nüchtern oder überraschend und kreativ ausfällt.
Ein Programm wie ChatGPT schreibt seine Antworten Stück für Stück. Nach jedem Textbaustein rechnet es aus, wie wahrscheinlich jeder mögliche nächste Baustein ist. Das Ergebnis ist keine einzelne Entscheidung, sondern eine lange Liste mit Wahrscheinlichkeiten. Auf „Die Hauptstadt von Frankreich ist“ bekommt „Paris“ vielleicht 95 Prozent, „Lyon“ ein Prozent, tausende andere Wörter jeweils fast nichts. Der Sampler ist der Teil des Programms, der aus dieser Liste tatsächlich eines auswählt. Er denkt sich nichts aus, er würfelt nach den Regeln, die man ihm gibt.
Warum dieselbe Frage zwei Antworten bekommt
Viele Leute glauben, ein KI-Modell habe zu jeder Frage eine feste Antwort. Das stimmt nicht. Stellt man dieselbe Frage zweimal, kommen oft unterschiedliche Formulierungen heraus. Der Grund liegt fast nie im Modell selbst, sondern im Sampler. Er zieht bei jedem Durchlauf neu aus der Wahrscheinlichkeitsliste, und dabei fällt die Wahl nicht immer gleich aus.
Diese Zufälligkeit ist gewollt. Ein Sampler, der immer stur das wahrscheinlichste Wort nimmt, produziert erstaunlich schlechten Text. Er wiederholt sich, dreht sich im Kreis und klingt hölzern. Ein bisschen Zufall bringt Abwechslung in die Sätze. Zu viel Zufall führt dagegen dazu, dass das Modell Unsinn schreibt oder mitten im Satz das Thema wechselt.
Für Unternehmen ist das ein praktisches Problem. Wer eine KI für Rechtstexte oder Programmcode einsetzt, will möglichst wenig Überraschung. Wer Werbetexte oder Geschichten erzeugen lässt, will genau das Gegenteil. Deshalb bieten fast alle Anbieter Einstellungen an, mit denen Entwickler den Sampler steuern können.
Temperatur, Top-k und Top-p
Der bekannteste Regler heißt Temperatur. Er verändert, wie stark die Unterschiede zwischen den Wahrscheinlichkeiten ins Gewicht fallen. Eine niedrige Temperatur, etwa 0,2, verschärft die Unterschiede: Der Favorit wird fast immer gewählt. Eine hohe Temperatur, etwa 1,2, gleicht die Liste an und gibt auch unwahrscheinlichen Wörtern eine echte Chance. Bei Temperatur null verschwindet der Zufall komplett, und das Modell nimmt immer den Spitzenreiter.
Zwei weitere Verfahren schneiden die Liste vorher ab. Top-k behält nur die k besten Kandidaten, zum Beispiel die 40 wahrscheinlichsten, und streicht den Rest. Top-p, auch Nucleus Sampling genannt, arbeitet flexibler: Es sammelt so lange Kandidaten ein, bis deren Wahrscheinlichkeiten zusammen einen Schwellenwert erreichen, häufig 90 Prozent. Ist sich das Modell sehr sicher, bleiben dabei nur wenige Wörter übrig. Ist es unsicher, kommen mehr in Frage.
In der Praxis werden diese Regler kombiniert. Erst schneidet Top-p die absurden Kandidaten weg, dann bestimmt die Temperatur, wie mutig innerhalb des Rests gewürfelt wird. Man kann sich das wie eine Restaurantkarte vorstellen: Top-p entscheidet, welche Gerichte überhaupt auf der Karte stehen, die Temperatur entscheidet, wie experimentierfreudig man bestellt. Wichtig ist der Unterschied zum Training: Der Sampler verändert das Modell nicht. Er ist eine Einstellung beim Benutzen und lässt sich jederzeit ändern.
Sampler in Chatbots und Bildgeneratoren
Wer eine KI nur über eine App oder Website nutzt, sieht diese Einstellungen meist nicht. Der Anbieter hat sie im Hintergrund festgelegt, oft auf einen Mittelwert, der für Alltagsfragen gut funktioniert. Sichtbar werden sie, sobald man ein Modell über eine Programmierschnittstelle anspricht. Dort tauchen Temperatur und Top-p als ganz normale Parameter auf, die man pro Anfrage mitschickt.
Auch bei Bildgeneratoren wie Stable Diffusion ist von Samplern die Rede. Dort meint das Wort etwas anderes: Verfahren mit Namen wie Euler oder DPM++ steuern, in welchen Schritten aus Bildrauschen ein fertiges Bild entsteht. Verschiedene Sampler liefern bei gleicher Eingabe leicht verschiedene Bilder und brauchen unterschiedlich lange. Gemeinsam ist beiden Bedeutungen die Grundidee: Ein Verfahren zieht Schritt für Schritt aus vielen Möglichkeiten eine konkrete aus.
In Testberichten und Fachdiskussionen begegnet einem der Begriff oft als Erklärung für seltsames Verhalten. Wenn ein Chatbot plötzlich wirres Zeug schreibt, liegt das manchmal an einer zu hohen Temperatur und nicht an einem schwachen Modell. Umgekehrt wirken Antworten mit Temperatur null zwar zuverlässig, aber langweilig und repetitiv. Wer die Regler kennt, kann solche Beobachtungen deutlich besser einordnen.