Causal Attention

Programme wie ChatGPT schreiben Texte, indem sie immer wieder das nächste Wort raten. Damit das klappt, müssen sie beim Rechnen den bisherigen Text anschauen. Causal Attention ist die Regel, die festlegt, wie weit sie dabei schauen dürfen: nur nach hinten, nie nach vorn. Jede Stelle im Text darf also alles verwenden, was links von ihr steht, aber nichts, was rechts folgt. Das Wort « causal » bedeutet hier « ursächlich »: Wie in der echten Welt darf nur Vergangenes das Kommende beeinflussen. Man nennt das Verfahren deshalb auch maskierte Aufmerksamkeit, weil die Zukunft regelrecht abgedeckt wird.

Warum ein Modell die Zukunft nicht sehen darf

Ein Sprachmodell lernt an riesigen Textmengen. Die Übungsaufgabe ist immer dieselbe: Hier stehen ein paar Wörter, welches kommt als Nächstes? Die richtige Antwort steht im Trainingstext direkt daneben. Dürfte das Modell dorthin schauen, wäre die Aufgabe wertlos.

Vergleichbar ist das mit einer Prüfung, bei der die Lösungen unter der Aufgabe stehen. Wer abschreibt, bekommt volle Punktzahl und lernt nichts. Beim späteren Einsatz gibt es keine Lösungen mehr, denn der Text existiert ja noch nicht. Ein Modell ohne Causal Attention würde im Training glänzen und im Betrieb versagen.

Es gibt einen zweiten, praktischen Grund. Weil jede Textstelle nur von den vorherigen abhängt, kann das Modell während des Trainings alle Stellen eines Satzes gleichzeitig üben. Es rechnet für hunderte Positionen parallel, ohne sich selbst zu betrügen. Das macht das Training enorm viel schneller, als wenn man Wort für Wort vorgehen müsste.

Die Maske im Aufmerksamkeitsmechanismus

Moderne Sprachmodelle arbeiten mit einem Verfahren namens Attention, auf Deutsch Aufmerksamkeit. Dabei berechnet das Modell für jedes Wort, wie stark es sich auf jedes andere Wort im Text stützt. Das Ergebnis kann man sich als große Tabelle vorstellen: Zeilen sind die Wörter, die gerade verarbeitet werden, Spalten die Wörter, auf die geschaut wird. In jedem Feld steht eine Zahl, die das Gewicht angibt.

Causal Attention greift genau in diese Tabelle ein. Alle Felder oberhalb der Diagonale, also alle Blicke in die Zukunft, werden gesperrt. Technisch setzt man sie auf minus unendlich, bevor die Gewichte normiert werden. Danach ist ihr Anteil exakt null. Übrig bleibt eine Dreiecksform, in der jede Zeile nur nach links reicht.

Beim tatsächlichen Schreiben von Text hilft das noch einmal anders. Da der bereits erzeugte Teil sich nie ändert, kann das Modell seine Zwischenergebnisse aufheben und wiederverwenden. Dieser Zwischenspeicher heißt KV-Cache und ist der Grund, warum Antworten flüssig Wort für Wort erscheinen. Ohne die kausale Regel müsste bei jedem neuen Wort alles neu gerechnet werden.

Textgeneratoren gegen Textversteher

Alle bekannten Chat- und Schreibmodelle nutzen Causal Attention. Das gilt für die GPT-Reihe, für Llama, Claude, Gemini und ihre Verwandten. Man nennt sie deshalb auch Decoder-Modelle oder autoregressive Modelle. Wenn in Fachtexten oder Firmenmitteilungen von einem « decoder-only »-Modell die Rede ist, steckt immer diese Regel dahinter.

Es gibt aber eine wichtige Gegenwelt. Modelle wie BERT, die Texte nicht schreiben, sondern nur verstehen sollen, verzichten bewusst auf die Maske. Sie dürfen in beide Richtungen schauen, was zum Beispiel bei der Suche oder beim Sortieren von Kundenmails hilft. Für solche Aufgaben ist der Blick auf den ganzen Satz ein Vorteil, kein Betrug.

Ein häufiger Irrtum ist, Causal Attention habe etwas mit Ursache-Wirkung-Wissen zu tun. Ein Modell versteht durch die Maske nicht, warum Dinge geschehen. Der Begriff meint ausschließlich die Leserichtung. Und noch eine Folge lohnt sich zu merken: Weil das Modell nicht vorausschauen kann, plant es keinen Satz im Voraus. Es legt sich Wort für Wort fest und kann eine ungeschickte Formulierung nachträglich nicht mehr zurücknehmen.