Multi-Query Attention

Programme wie ChatGPT erzeugen Text Wort für Wort. Bei jedem neuen Wort schauen sie auf alles zurück, was vorher schon dasteht. Damit dieser Rückblick nicht jedes Mal neu berechnet werden muss, legt das Programm sich Notizen zu jedem bisherigen Wort an. Diese Notizen fressen Speicher, und zwar umso mehr, je länger der Text wird. Multi-Query Attention ist ein Trick, der die Menge dieser Notizen drastisch reduziert. Statt für jeden der vielen parallelen Rückblick-Kanäle eigene Notizen zu führen, teilen sich alle Kanäle einen einzigen Satz Notizen.

Warum lange Texte sonst zu teuer werden

Der Speicher für diese Notizen heißt in der Fachsprache KV-Cache. Er ist bei großen Modellen der eigentliche Engpass. Nicht die Rechenleistung bremst, sondern das Hin- und Herschaufeln der Daten zwischen Speicher und Rechenkern. Bei einem Chat mit mehreren tausend Wörtern Verlauf kann dieser Zwischenspeicher mehrere Gigabyte belegen — pro Nutzer.

Genau hier setzt Multi-Query Attention an. Sie kann den KV-Cache um einen Faktor verkleinern, der der Zahl der Kanäle entspricht. Bei 32 Kanälen bleibt also grob ein Zweiunddreißigstel übrig. Das klingt nach einem Detail für Ingenieure, entscheidet aber darüber, wie viele Menschen ein Anbieter gleichzeitig bedienen kann.

Auch die Länge des Gesprächs hängt daran. Kontextfenster von 100.000 Wörtern und mehr wären mit dem alten Verfahren praktisch unbezahlbar. Dass Modelle heute ganze Bücher am Stück lesen können, liegt zu einem guten Teil an solchen Speichertricks.

Ein Satz Notizen für alle Köpfe

Der Rückblick auf frühere Wörter heißt in der Fachsprache Attention, also Aufmerksamkeit. Ein Modell macht das nicht einmal, sondern in vielen parallelen Durchgängen. Diese Durchgänge nennt man Köpfe. Ein Kopf achtet vielleicht auf Satzbau, ein anderer auf inhaltliche Bezüge. Was ein Kopf am Ende beachtet, legt niemand fest; es ergibt sich beim Training.

Jeder Kopf arbeitet mit drei Größen: einer Anfrage an die Vergangenheit sowie einem Schlüssel und einem Wert für jedes frühere Wort. Schlüssel und Wert sind die Notizen, die gespeichert werden müssen. Im klassischen Verfahren, Multi-Head Attention, hat jeder Kopf seinen eigenen Schlüssel und seinen eigenen Wert.

Multi-Query Attention behält die vielen Anfragen bei, streicht aber die Vielfalt bei Schlüsseln und Werten. Alle Köpfe greifen auf denselben Schlüssel-Wert-Satz zu. Bildlich: dreißig Fachleute lesen dieselbe Aktennotiz, stellen ihr aber jeweils andere Fragen. Ein Zwischenweg heißt Grouped-Query Attention: dort teilen sich jeweils kleine Gruppen von Köpfen eine Notiz. Das ist heute der häufigere Kompromiss, weil reines MQA die Antwortqualität leicht verschlechtern kann.

In welchen Modellen der Trick steckt

Sichtbar ist Multi-Query Attention nie. Man merkt sie höchstens daran, dass ein Chatbot schnell antwortet und lange Dokumente verarbeitet. Beschrieben wurde das Verfahren 2019 bei Google, breit eingesetzt wurde es erst mit den großen Sprachmodellen ab 2023.

In technischen Beschreibungen von Modellen tauchen die Kürzel MQA und GQA regelmäßig auf. Wer die Datenblätter offener Modelle liest, etwa der Llama- oder Mistral-Reihe, findet dort meist Grouped-Query Attention. Auch in Fachnachrichten zu Rechenzentren fällt der Begriff, weil er direkt mit Grafikkarten-Speicher und Betriebskosten zusammenhängt.

Ein häufiges Missverständnis: Multi-Query Attention macht ein Modell nicht klüger und verkleinert es nicht. Die Zahl der gelernten Werte im Modell bleibt fast gleich. Gespart wird nur beim Zwischenspeicher während des Antwortens.