Dekodierung

Ein Sprachmodell ist ein Computerprogramm, das Texte fortsetzt, indem es Wort für Wort weiterschreibt. Dabei nennt es nie ein einzelnes nächstes Wort. Stattdessen berechnet es für tausende mögliche Wörter jeweils eine Wahrscheinlichkeit. Nach « Die Hauptstadt von Frankreich ist » bekommt « Paris » vielleicht 95 Prozent, « eine » 2 Prozent, der Rest verteilt sich auf alles Übrige. Aus dieser Liste muss aber genau ein Wort ausgewählt werden, sonst entsteht kein Text. Genau diese Auswahl nennt man Dekodierung. Sie ist kein Teil des Lernens, sondern eine Regel, die man dem fertigen Modell von außen vorgibt.

Warum dasselbe Modell zweimal anders antwortet

Viele Leute glauben, ein KI-Modell habe eine feste Antwort auf eine feste Frage. Das stimmt nicht. Wer dieselbe Frage zweimal stellt, bekommt oft zwei unterschiedliche Texte. Der Grund liegt nicht im Modell, sondern in der Dekodierung. Wenn sie bewusst ein wenig würfelt, fällt die Wahl manchmal auf das zweitwahrscheinlichste Wort. Ab da läuft der ganze weitere Satz in eine andere Richtung.

Diese Einstellung ist ein echter Regler, kein Zufallsprodukt. Wer ein Modell Programmcode schreiben lässt, will meist die berechenbarste Variante. Wer Ideen für eine Kurzgeschichte sucht, will Abwechslung. Dasselbe Modell kann beides liefern, je nach Dekodierung. Deshalb lohnt es sich, den Unterschied zu kennen, bevor man ein Ergebnis für schlecht hält.

Wichtig ist auch die Abgrenzung: Dekodierung macht ein Modell nicht klüger. Sie kann nur aus dem auswählen, was das Modell ohnehin für möglich hält. Falsches Wissen lässt sich damit nicht reparieren. Eine schlechte Einstellung kann ein gutes Modell aber deutlich schlechter aussehen lassen.

Vom Wahrscheinlichkeitsberg zum einzelnen Wort

Die einfachste Strategie heißt Greedy Search, also gieriges Suchen. Sie nimmt immer das wahrscheinlichste Wort. Das klingt vernünftig, führt aber oft zu langweiligen und sich wiederholenden Texten. Der Grund ist, dass die beste Einzelentscheidung nicht immer zum besten Gesamtsatz führt. Wer beim Wandern immer den steilsten Weg nach oben nimmt, landet auf dem nächsten Hügel statt auf dem Gipfel.

Deshalb wird meist gezielt gewürfelt. Bei Top-k wählt das System nur aus den k wahrscheinlichsten Wörtern aus, etwa den besten fünfzig. Bei Top-p, auch Nucleus Sampling genannt, sammelt es so lange Wörter ein, bis deren Wahrscheinlichkeiten zusammen einen Anteil wie 90 Prozent ergeben. Alles darunter fliegt raus. So kann unsinniges Zeug mit winziger Wahrscheinlichkeit gar nicht erst gezogen werden.

Ein weiterer Regler heißt Temperatur. Eine niedrige Temperatur macht die Wahrscheinlichkeiten kontrastreicher, das Modell wird berechenbar. Eine hohe Temperatur gleicht sie an, seltene Wörter bekommen eine echte Chance. Bei Temperatur null entsteht wieder das gierige Verfahren. Sehr hohe Werte kippen dagegen schnell in wirres Gerede.

Wo die Regler in Chatbots und Schnittstellen auftauchen

Wer ChatGPT oder einen ähnlichen Dienst normal benutzt, sieht von alledem nichts. Der Anbieter hat die Werte fest eingestellt, meist auf einen Mittelweg. Sichtbar wird die Dekodierung dort, wo Entwickler ein Modell über eine Programmierschnittstelle ansprechen. Dort tauchen Felder wie temperature oder top_p auf, oft mit Werten zwischen 0 und 2.

In Produktoberflächen versteckt sich dasselbe Prinzip hinter Knöpfen wie « kreativ », « ausgewogen » und « präzise ». Auch die Schaltfläche « Antwort neu generieren » funktioniert nur deshalb, weil die Dekodierung Zufall enthält. Ohne diesen Zufall käme jedes Mal derselbe Text heraus.

In Nachrichten und Fachartikeln begegnet einem der Begriff meist im Zusammenhang mit Kosten und Qualität. Aufwendigere Verfahren wie Beam Search prüfen mehrere Satzvarianten parallel und wählen am Ende die beste. Das liefert oft sauberere Übersetzungen, kostet aber mehr Rechenzeit. Auch das sogenannte spekulative Dekodieren gehört hierher: Ein kleines, schnelles Modell schlägt mehrere Wörter vor, das große prüft sie nur noch. Das Ergebnis bleibt gleich, die Antwort kommt aber schneller.