Decoder

Ein Decoder ist der Bauteil eines Sprachprogramms, der neuen Text schreibt. Er arbeitet Stück für Stück: Er schaut sich an, was bisher dasteht, und sagt voraus, was am besten als Nächstes kommt. Dieses Nächste hängt er an und beginnt von vorn. So entsteht Wort für Wort ein ganzer Satz, dann ein ganzer Absatz. Wichtig ist die Blickrichtung: Der Decoder darf nur nach hinten schauen, also auf schon Geschriebenes, nie nach vorne. Der Name führt etwas in die Irre, denn „decodieren“ klingt nach Entschlüsseln. Gemeint ist eher: aus einer inneren Darstellung wieder lesbaren Text machen.

Warum Chatbots nur noch aus Decodern bestehen

Ältere Übersetzungsprogramme hatten zwei Hälften. Eine Hälfte, der Encoder, las den Ausgangssatz komplett ein und presste seine Bedeutung in Zahlen. Die andere Hälfte, der Decoder, schrieb daraus den Satz in der Zielsprache. Diese Aufteilung ergibt Sinn, wenn Eingabe und Ausgabe klar getrennt sind.

Bei einem Chatbot ist das nicht so. Frage und Antwort sind beides einfach Text und stehen hintereinander. Man kann die Frage deshalb direkt als Anfang eines Textes behandeln, den der Decoder fortsetzt. Genau das tun die GPT-Modelle. Man nennt solche Systeme Decoder-only, also Nur-Decoder-Modelle.

Der praktische Vorteil ist enorm. Ein Decoder-only-Modell braucht zum Lernen nur riesige Mengen normalen Text und keine sauber übersetzten Satzpaare. Dadurch stand plötzlich fast das gesamte Internet als Lernmaterial zur Verfügung. Diese eine Vereinfachung ist ein Hauptgrund für den Sprung in der Qualität seit 2020.

Ein Wortstück nach dem anderen

Der Decoder arbeitet nicht mit Wörtern, sondern mit Tokens. Ein Token ist ein Textbaustein, oft eine Silbe oder ein kurzes Wort. Für jeden neuen Token berechnet das Modell Wahrscheinlichkeiten über sein ganzes Vokabular. Steht „Die Hauptstadt von Frankreich ist“ da, bekommt „Paris“ einen sehr hohen Wert und „Kartoffel“ einen sehr niedrigen.

Dann wird ein Token ausgewählt. Nicht immer der wahrscheinlichste, denn das klingt schnell steif und wiederholt sich. Meist wird per Zufall aus den besten Kandidaten gezogen. Wie viel Zufall erlaubt ist, steuert ein Wert namens Temperatur. Deshalb bekommt man auf dieselbe Frage zweimal leicht unterschiedliche Antworten.

Beim Training wird der Blick nach vorne technisch blockiert. Man nennt das Maskierung. Ohne sie könnte das Modell beim Üben die Lösung im Text einfach ablesen und würde nichts lernen. Diese erzwungene Einbahnstraße unterscheidet den Decoder vom Encoder, der einen Satz in beide Richtungen gleichzeitig betrachten darf.

Decoder im Alltag und in Meldungen

Jedes Mal, wenn in einem Chatfenster die Antwort Häppchen für Häppchen erscheint, sieht man einen Decoder bei der Arbeit. Der Text wird nicht aus Effekt langsam angezeigt. Er entsteht wirklich erst in diesem Moment, Token für Token. Auch die Autovervollständigung in Suchfeldern und E-Mail-Programmen beruht auf demselben Prinzip.

In Fachmeldungen tauchen Formulierungen auf wie „ein Decoder-only-Transformer mit 70 Milliarden Parametern“. Das ist keine Besonderheit, sondern die Standardbauform: Llama, Gemini, Claude und die GPT-Reihe gehören alle dazu. Encoder-Modelle wie BERT trifft man dagegen im Hintergrund, etwa bei Suchmaschinen oder wenn Texte automatisch sortiert werden.

Ein häufiger Irrtum: Weil der Decoder Wahrscheinlichkeiten nutzt, sei er nur Ratemaschinerie ohne Verständnis. Die Vorhersage ist tatsächlich das Ziel des Trainings. Um sie gut zu treffen, muss das Modell aber Grammatik, Fakten und Zusammenhänge in seinen Zahlen abbilden. Es erklärt auch die Grenze: Erfundene Fakten entstehen, weil ein falsches Wortstück durchaus wahrscheinlich klingen kann.