Multi-Head Attention

Ein Programm, das Sprache verarbeitet, muss verstehen, welche Wörter im Satz zusammengehören. Im Satz „Anna gab Lisa ihr Buch zurück“ ist unklar, wem „ihr“ gehört. Der Mensch löst das aus dem Zusammenhang. Ein Computer braucht dafür ein Rechenverfahren, das jedes Wort mit allen anderen Wörtern des Satzes vergleicht und die wichtigen Bezüge stärker gewichtet. Genau das leistet Attention, auf Deutsch Aufmerksamkeit. Multi-Head Attention ist die übliche Ausbaustufe davon: Der Vergleich läuft nicht einmal, sondern acht-, sechzehn- oder hundertfach parallel. Jeder dieser Durchgänge heißt ein Head, also ein Kopf, und achtet auf eine andere Art von Zusammenhang.

Warum ein Blickwinkel pro Wort zu wenig ist

Zwischen zwei Wörtern gibt es nicht nur eine Beziehung, sondern viele gleichzeitig. „Buch“ ist grammatisch das Objekt von „gab“. Inhaltlich gehört es zu „lesen“ und „Bibliothek“. Und es steht in einem Bezug zu „ihr“. Würde ein einziger Rechendurchgang all das in eine Zahl pressen, ginge das meiste verloren. Mehrere Köpfe können diese Beziehungen aufteilen.

Untersuchungen an fertigen Modellen zeigen genau das. Manche Köpfe reagieren fast ausschließlich auf das direkt vorangehende Wort. Andere verbinden Verben mit ihren Subjekten, wieder andere finden das Bezugswort eines Pronomens. Diese Rollenverteilung wird nicht programmiert, sie entsteht während des Trainings von allein.

Praktisch wichtig ist außerdem: Alle Köpfe rechnen unabhängig voneinander und damit gleichzeitig. Grafikkarten sind auf solche parallele Arbeit ausgelegt. Ältere Sprachmodelle mussten einen Satz Wort für Wort durchgehen und konnten das nicht. Multi-Head Attention ist einer der Gründe, warum sich sehr große Modelle überhaupt in vertretbarer Zeit trainieren lassen.

Abfrage, Schlüssel und Wert in jedem Kopf

Jedes Wort wird zunächst in eine lange Zahlenliste umgewandelt, die seine Bedeutung im Kontext beschreibt. Aus dieser Liste erzeugt jeder Kopf drei kürzere Versionen: eine Abfrage, einen Schlüssel und einen Wert. Man kann sich das wie eine Suche vorstellen. Die Abfrage ist die Frage „Welche Wörter sind für mich gerade relevant?“. Die Schlüssel sind die Steckbriefe, mit denen sich alle anderen Wörter bewerben.

Das Modell vergleicht nun die Abfrage eines Wortes mit den Schlüsseln aller Wörter im Text. Passt ein Schlüssel gut, ergibt der Vergleich eine hohe Zahl. Diese Zahlen werden in Gewichte umgerechnet, die zusammen 100 Prozent ergeben. Anschließend mischt der Kopf die Werte aller Wörter nach diesen Gewichten zusammen. Für das Wort „ihr“ könnte dabei zu 70 Prozent die Information von „Lisa“ einfließen.

Weil jeder Kopf eigene Abfragen, Schlüssel und Werte berechnet, kommt jeder zu einem anderen Ergebnis. Am Ende werden die Ergebnisse aller Köpfe aneinandergehängt und durch eine weitere Rechenschicht zu einer neuen Zahlenliste verschmolzen. Wichtig ist die Rechnung dahinter: Die Köpfe teilen sich das Budget. Bei 512 Zahlen pro Wort und 8 Köpfen arbeitet jeder Kopf mit 64 Zahlen. Mehr Köpfe bedeuten also nicht automatisch mehr Rechenaufwand, sondern eine feinere Aufteilung.

In ChatGPT, Übersetzern und Bildmodellen

Multi-Head Attention ist das Herzstück der Transformer-Architektur, also des Bauplans, auf dem praktisch alle heutigen Sprachmodelle beruhen. Ein großes Modell enthält Dutzende Schichten, und jede davon besitzt eine eigene Multi-Head Attention. Wenn du ChatGPT, Gemini oder Claude benutzt, laufen bei jedem einzelnen Wort tausende solcher Vergleiche ab. Auch Übersetzer wie DeepL und Bildgeneratoren arbeiten so.

In Fachnachrichten begegnet dir der Begriff meist dann, wenn es um Kosten geht. Der Vergleich jedes Wortes mit jedem anderen wird bei langen Texten teuer: Bei doppelter Textlänge vervierfacht sich der Aufwand. Deshalb kürzen Firmen ab. Verfahren mit Namen wie Multi-Query Attention oder Grouped-Query Attention lassen mehrere Köpfe sich dieselben Schlüssel und Werte teilen. Das spart Speicher und beschleunigt die Antwort, kostet aber ein wenig Genauigkeit.

Ein häufiger Irrtum ist, die Köpfe als Fachleute für Themen zu verstehen, etwa einen Kopf für Sport und einen für Politik. Diese Rolle spielen die Experten in einem Mixture-of-Experts-Modell, das etwas völlig anderes ist. Attention-Köpfe kümmern sich um Beziehungen zwischen Wörtern, nicht um Sachgebiete. Und sie werden nie einzeln abgeschaltet: In jeder Schicht arbeiten stets alle Köpfe mit.