Aufmerksamkeitsmuster
Ein Aufmerksamkeitsmuster zeigt, auf welche Wörter eines Textes ein Sprachmodell bei der Verarbeitung eines bestimmten Wortes besonders stark achtet. Es macht sichtbar, welche Verbindungen das Modell im Text herstellt.
Wenn ein Computerprogramm einen Satz verarbeitet, betrachtet es die Wörter nicht einzeln und unabhängig. Bei jedem Wort schaut es auch auf die anderen Wörter im Satz — manche stark, manche kaum. Diese Verteilung nennt man Aufmerksamkeitsmuster. Man kann sie als Tabelle darstellen: für jedes Wort eine Zeile mit Zahlen, die angeben, wie wichtig die übrigen Wörter für dieses Wort sind. Bei dem Satz „Anna gab Paul das Buch, weil er es wollte“ wird das Programm beim Wort „er“ stark auf „Paul“ achten. Genau das ist ein Aufmerksamkeitsmuster: eine Landkarte der Bezüge, die das Programm im Text sieht.
Was Aufmerksamkeitsmuster über ein Modell verraten
Moderne Sprachmodelle wie ChatGPT sind für Menschen von außen kaum durchschaubar. Sie enthalten Milliarden von eingestellten Zahlenwerten, den sogenannten Parametern. Niemand kann diese Zahlen direkt lesen und daraus ableiten, warum eine bestimmte Antwort entstanden ist. Aufmerksamkeitsmuster sind eine der wenigen Stellen, an denen man dem Modell trotzdem etwas ansehen kann.
Forscher nutzen sie deshalb, um Fehler zu verstehen. Wenn ein Modell in einem langen Dokument die falsche Zahl zitiert, kann man prüfen, auf welche Textstelle es beim Antworten geachtet hat. Oft zeigt sich, dass die Aufmerksamkeit an der falschen Stelle hing. Dieses Forschungsfeld heißt Interpretierbarkeit, also die Bemühung, das Innenleben von KI-Systemen verständlich zu machen.
Ein verbreiteter Irrtum ist allerdings, dass Aufmerksamkeitsmuster die Begründung des Modells zeigen. Das tun sie nicht. Sie zeigen, welche Informationen weitergeleitet wurden, nicht warum das Ergebnis so lautete. Wer aus einem Muster eine vollständige Erklärung ableitet, überschätzt die Aussagekraft deutlich.
Wie die Gewichte im Modell entstehen
Der Mechanismus dahinter heißt Attention, auf Deutsch Aufmerksamkeit. Das Modell erzeugt zu jedem Wort drei Zahlenlisten. Eine funktioniert wie eine Suchanfrage, eine wie ein Namensschild, eine wie der eigentliche Inhalt. Passen Suchanfrage und Namensschild gut zusammen, ist das Gewicht hoch. So entsteht für jedes Wort eine Rangliste der übrigen Wörter.
Ein Modell hat nicht ein solches Muster, sondern sehr viele. Die Berechnung läuft parallel in mehreren Köpfen, den Attention Heads, und wird über viele Schichten wiederholt. Ein großes Modell kommt so leicht auf tausend Muster pro Anfrage. Verschiedene Köpfe spezialisieren sich dabei von selbst: einer verfolgt Satzzeichen, ein anderer Bezüge von Fürwörtern, ein dritter schaut vor allem auf das direkt vorausgehende Wort.
Diese Spezialisierung gibt niemand vor. Sie entsteht während des Trainings, also in der Phase, in der das Modell aus riesigen Textmengen lernt. Wichtig ist außerdem: die Gewichte werden für jede Anfrage neu berechnet. Sie sind kein fester Bestandteil des Modells, sondern hängen vom konkreten Text ab.
Aufmerksamkeitsmuster in Werkzeugen und Schlagzeilen
In Fachartikeln und Modellvorstellungen tauchen Aufmerksamkeitsmuster meist als farbige Gitter auf. Dunkle Felder stehen für hohe Gewichte, helle für niedrige. Frei zugängliche Werkzeuge wie BertViz zeichnen solche Bilder für eigene Sätze, sodass man die Bezüge selbst nachverfolgen kann.
Wirtschaftlich relevant sind die Muster wegen ihrer Kosten. Der Rechenaufwand wächst quadratisch mit der Textlänge: doppelt so viel Text bedeutet grob viermal so viel Arbeit. Deshalb arbeiten Anbieter an sparsameren Varianten, die nur einen Teil der Verbindungen berechnen. Wenn eine Firma damit wirbt, ein Modell verarbeite nun eine Million Wörter Kontext, steckt fast immer eine solche Abkürzung dahinter.
Auch bei Sicherheitsfragen spielen die Muster eine Rolle. Untersucht man, wie ein Modell durch geschickt formulierte Eingaben zu unerwünschten Antworten gebracht wurde, schaut man zuerst auf die Aufmerksamkeit. Sie verrät, welchen Teil der Eingabe das Modell besonders ernst genommen hat.