Causal Encoder-Decoder

Viele Programme, die Sprache verarbeiten, bestehen aus zwei Hälften. Die erste Hälfte liest den kompletten Eingabetext und wandelt ihn in eine interne Zahlendarstellung um. Diese Hälfte heißt Encoder, zu Deutsch etwa Verschlüsseler oder Umwandler. Die zweite Hälfte, der Decoder, erzeugt daraus die Ausgabe – aber nicht auf einmal, sondern Stück für Stück. Sie darf beim Erzeugen eines Wortes nur auf die bereits geschriebenen Wörter zurückblicken, nie auf die noch kommenden. Diese Einschränkung heißt kausal, weil jedes Wort nur von dem abhängen darf, was ihm vorausging. Ein Causal Encoder-Decoder ist also ein Modell, das erst vollständig liest und dann schrittweise nach vorne schreibt.

Warum das Schummelverbot beim Training nötig ist

Beim Training bekommt das Modell Millionen von Beispielpaaren: ein englischer Satz und seine deutsche Übersetzung. Die gewünschte Ausgabe steht dabei vollständig im Trainingsmaterial. Ohne die kausale Beschränkung könnte das Modell beim Erzeugen des dritten Wortes einfach im vierten Wort nachsehen. Es würde perfekte Ergebnisse liefern und trotzdem nichts gelernt haben. Im echten Einsatz gibt es diesen Blick nach vorne nicht, weil die Ausgabe ja erst entsteht.

Deshalb baut man eine sogenannte Maske ein. Sie blendet für jede Position alle späteren Positionen technisch aus. Das Modell sieht an Stelle drei buchstäblich nur die Stellen eins und zwei. Der Vorteil: Man kann trotzdem alle Positionen eines Satzes gleichzeitig berechnen, statt Wort für Wort nacheinander. Das Training wird dadurch enorm viel schneller, ohne dass geschummelt wird.

Wichtig ist die Abgrenzung: Für den Encoder gilt dieses Verbot ausdrücklich nicht. Er darf den Eingabetext komplett in beide Richtungen betrachten. Beim Übersetzen ist das sinnvoll, denn der Ausgangssatz liegt ja vollständig vor. Nur die Ausgabeseite muss die zeitliche Reihenfolge respektieren.

Zwei Türme und die Brücke dazwischen

Man kann sich den Aufbau als Übersetzer in einer Konferenz vorstellen. Er hört zuerst den kompletten Redebeitrag an und merkt sich den Sinn. Danach spricht er die Übersetzung Satz für Satz aus. Gesprochene Wörter kann er nicht zurücknehmen, und was er gleich sagen wird, weiß er noch nicht wörtlich. Genau so verhält sich ein Causal Encoder-Decoder.

Technisch verbindet ein Mechanismus namens Cross-Attention die beiden Hälften. Attention heißt Aufmerksamkeit: Das Modell lernt, bei jedem Ausgabeschritt gezielt auf bestimmte Stellen der Eingabe zu achten. Beim Übersetzen des deutschen Verbs schaut es also besonders auf das englische Verb. Innerhalb des Decoders gibt es zusätzlich eine maskierte Selbstaufmerksamkeit, die nur nach hinten blickt. Zusammen ergibt das drei Aufmerksamkeitsarten: im Encoder frei, im Decoder nach hinten, und zwischen beiden als Brücke.

Der Ablauf beim Erzeugen ist immer gleich. Das Modell berechnet für das nächste Wort eine Wahrscheinlichkeit über den gesamten Wortschatz. Eines dieser Wörter wird ausgewählt und an den bisherigen Text angehängt. Dann startet der Schritt von vorn, jetzt mit einem Wort mehr als Kontext. Das wiederholt sich, bis ein besonderes Endzeichen erscheint.

Übersetzer, Untertitel und die Konkurrenz der reinen Decoder

Diese Architektur steckt in vielen Werkzeugen, die man täglich benutzt. Maschinelle Übersetzung ist der klassische Fall, ebenso automatische Zusammenfassungen langer Texte. Auch Spracherkennung arbeitet oft so: Der Encoder verarbeitet die Tonaufnahme, der Decoder schreibt den Text. Bekannte Systeme wie T5 oder Whisper folgen diesem Muster.

In den Nachrichten begegnet der Begriff meist als Abgrenzung. Die großen Chatbots sind nämlich keine Encoder-Decoder, sondern reine Decoder-Modelle. Sie kennen nur einen einzigen Textstrom, in dem Frage und Antwort hintereinander stehen. Kausal sind sie trotzdem, denn auch sie schreiben streng von links nach rechts.

Ein häufiger Irrtum ist, kausal habe etwas mit Ursachenforschung zu tun. Das Modell versteht keine Ursachen und keine Zusammenhänge in der Welt. Gemeint ist ausschließlich die Richtung des Informationsflusses in der Zeit. Wer das trennt, versteht Fachtexte und Produktankündigungen deutlich leichter.