Decoding
Decoding ist das Verfahren, mit dem ein Sprachmodell aus lauter Wahrscheinlichkeiten einen fertigen Text macht. Es legt fest, welches Wort als nächstes tatsächlich ausgewählt wird — und entscheidet damit, ob eine Antwort nüchtern, kreativ oder wirr klingt.
Ein Programm wie ChatGPT schreibt Text nicht in einem Rutsch. Es arbeitet Stück für Stück und fügt immer nur eine kleine Texteinheit an, meist ein Wort oder einen Wortteil. Und es gibt dabei nie eine einzige feste Antwort aus. Stattdessen liefert es für tausende möglicher Fortsetzungen jeweils eine Wahrscheinlichkeit: „Hauptstadt“ könnte an dieser Stelle mit 40 Prozent passen, „größte Stadt“ mit 12 Prozent, „Currywurst“ mit 0,001 Prozent. Decoding ist der Schritt, der aus dieser langen Wahrscheinlichkeitsliste eine konkrete Entscheidung macht. Man kann es sich wie einen Auswahlmechanismus vorstellen, der hinter dem eigentlichen Modell sitzt und ihm das Wort in den Mund legt.
Warum derselbe Chatbot zweimal anders antwortet
Viele Leute glauben, die Qualität einer Antwort hänge allein am Modell. Das ist nur die halbe Wahrheit. Dasselbe Modell kann mit unterschiedlichen Decoding-Einstellungen völlig verschieden wirken. Einmal langweilig und wiederholend, einmal originell, einmal komplett zusammenhanglos.
Daran hängt auch ein praktisches Detail, das viele Nutzer irritiert. Stellt man einem Chatbot zweimal dieselbe Frage, kommen oft zwei verschiedene Antworten. Das ist kein Fehler und keine Laune. Das Auswahlverfahren enthält einen Zufallsanteil, deshalb fällt die Entscheidung nicht jedes Mal gleich aus. Wer reproduzierbare Ergebnisse braucht, etwa bei einer Software-Auswertung, schaltet diesen Zufall bewusst ab.
Für Unternehmen ist das ein Kostenfaktor. Manche Decoding-Verfahren prüfen mehrere Textvarianten parallel und rechnen dadurch ein Vielfaches. Andere sind sparsam, produzieren aber flachere Texte. Zwischen Qualität, Tempo und Rechenkosten muss man sich entscheiden.
Von Greedy Search bis Temperatur
Die einfachste Methode heißt Greedy Decoding, also gierige Auswahl. Sie nimmt immer die wahrscheinlichste Fortsetzung. Das klingt vernünftig, führt aber oft in Sackgassen und Endlosschleifen. Der Text wiederholt sich dann, weil einmal begonnene Formulierungen sich selbst verstärken.
Ein Gegenmittel ist Beam Search. Dabei verfolgt das System mehrere Satzanfänge gleichzeitig weiter, zum Beispiel fünf, und behält am Ende den insgesamt besten. Das hilft bei Übersetzungen, wo es eine ziemlich klare richtige Lösung gibt. Bei freiem Schreiben wirken die Ergebnisse dagegen oft glatt und seelenlos.
Moderne Chatbots würfeln deshalb kontrolliert. Zwei Stellschrauben tauchen dabei ständig auf. Die Temperatur regelt, wie stark unwahrscheinliche Wörter mitspielen dürfen: niedrige Temperatur bedeutet vorsichtig und faktennah, hohe Temperatur bedeutet experimentierfreudig. Top-p schneidet die Liste ab und lässt nur die Kandidaten zu, die zusammen etwa 90 Prozent der Wahrscheinlichkeit ausmachen. So bleibt Spielraum für Kreativität, ohne dass völlig absurde Wörter durchkommen. Wichtig ist die Abgrenzung: Decoding erfindet kein Wissen. Es wählt nur aus, was das Modell ohnehin für möglich hält.
Temperatur-Regler in Apps und Schnittstellen
Wer eine Programmierschnittstelle eines Anbieters wie OpenAI, Google oder Mistral nutzt, stellt Decoding direkt selbst ein. Dort stehen Felder wie temperature oder top_p. Entwickler setzen die Temperatur bei einem Kundendienst-Bot niedrig, damit er sachlich bleibt. Bei einem Werbetexter-Tool drehen sie sie hoch. Auch in Bildgeneratoren und Musik-KIs gibt es vergleichbare Regler.
In den Nachrichten begegnet dir das Thema meist indirekt. Wenn berichtet wird, ein Chatbot habe eine Quelle frei erfunden, spielt Decoding mit hinein. Eine hohe Temperatur macht solche Halluzinationen wahrscheinlicher, also frei erfundene, aber überzeugend klingende Angaben. Ursache ist sie nicht allein, aber ein Verstärker.
Ein aktueller Trend verschiebt die Grenze noch weiter. Bei sogenanntem Speculative Decoding schlägt ein kleines, schnelles Modell mehrere Wörter auf Verdacht vor. Ein großes Modell prüft die Vorschläge in einem Durchgang und verwirft, was nicht passt. Das Ergebnis bleibt gleich, die Antwort kommt aber deutlich schneller. Solche Tricks sind ein Grund dafür, dass KI-Dienste heute flüssiger reagieren als noch vor zwei Jahren.