Multi-Head Latent Attention
Multi-Head Latent Attention ist ein Trick, mit dem Sprachmodelle deutlich weniger Arbeitsspeicher brauchen, während sie einen langen Text verarbeiten. Statt alle Zwischenergebnisse zu jedem bisherigen Wort vollständig zu speichern, legt das Modell nur eine stark verkleinerte Zusammenfassung ab.
Ein Textprogramm wie ChatGPT schreibt seine Antwort Wort für Wort. Bei jedem neuen Wort schaut es auf alles, was vorher schon dastand. Damit es das nicht jedes Mal neu berechnen muss, speichert es zu jedem bisherigen Wort einige Zwischenergebnisse. Bei langen Texten wird dieser Zwischenspeicher riesig und füllt den Arbeitsspeicher der Grafikkarte. Multi-Head Latent Attention ist eine Bauweise, die diesen Zwischenspeicher schrumpft. Sie legt zu jedem Wort keine vollständigen Zwischenergebnisse ab, sondern eine komprimierte Kurzfassung. Aus dieser Kurzfassung rechnet das Modell die benötigten Werte bei Bedarf wieder heraus.
Warum das wichtig ist
Der Arbeitsspeicher der Grafikkarten ist der Engpass beim Betrieb großer Sprachmodelle. Er ist meist knapper als die Rechenleistung. Je größer der Zwischenspeicher pro Nutzer, desto weniger Nutzer kann ein Server gleichzeitig bedienen. Das treibt die Kosten pro Antwort nach oben.
Multi-Head Latent Attention senkt diesen Speicherbedarf um einen großen Faktor, je nach Umsetzung um 80 bis über 90 Prozent. Dadurch passen mehr Anfragen parallel auf dieselbe Hardware. Außerdem werden sehr lange Eingaben praktikabel, etwa ein ganzes Buch oder eine große Codebasis. Das chinesische Labor DeepSeek hat das Verfahren bekannt gemacht und damit begründet, warum seine Modelle so günstig im Betrieb sind.
Wie es funktioniert
Sprachmodelle arbeiten mit einem Mechanismus namens Attention, auf Deutsch Aufmerksamkeit. Dabei erzeugt das Modell zu jedem Wort mehrere Vektoren, also lange Zahlenlisten. Zwei davon muss es aufbewahren, damit spätere Wörter darauf zugreifen können. Diese beiden heißen Key und Value, der Speicher dafür heißt KV-Cache.
Zusätzlich hat jede Schicht des Modells mehrere parallele Aufmerksamkeitskanäle, die Heads. Jeder Head achtet auf andere Zusammenhänge im Satz. Klassisch bekommt jeder Head seinen eigenen Key und Value. Der Speicher wächst also mit der Anzahl der Heads, der Schichten und der Textlänge.
Multi-Head Latent Attention presst diese Vektoren vorher zusammen. Pro Wort entsteht nur ein kleiner gemeinsamer Vektor, der latente Vektor. Nur er landet im Speicher. Braucht ein Head später seinen Key oder Value, wird er aus dem latenten Vektor per Multiplikation wiederhergestellt. Man kann sich das wie eine komprimierte Bilddatei vorstellen: gespeichert wird eine kleine Datei, angezeigt wird trotzdem ein volles Bild. Etwas Information geht dabei verloren. Das Verfahren wird aber von Anfang an mittrainiert, sodass das Modell lernt, das Wichtige in die Kurzfassung zu packen. In Tests bleibt die Qualität dadurch praktisch gleich.
Wo man dem Begriff begegnet
Im Alltag merkt man von der Technik nichts direkt. Man merkt nur die Folgen: niedrige Preise pro Anfrage und Modelle, die sehr lange Dokumente auf einmal lesen können. In Fachnews taucht der Begriff vor allem bei den DeepSeek-Modellen auf, wo er zusammen mit Mixture of Experts genannt wird. Mixture of Experts spart Rechenzeit, Multi-Head Latent Attention spart Speicher. Beides zusammen erklärt die auffällig niedrigen Betriebskosten dieser Modelle.
Wer technische Beschreibungen von Modellen liest, findet oft die Abkürzung MLA. Daneben stehen häufig verwandte Verfahren wie Multi-Query Attention und Grouped-Query Attention. Die verfolgen dasselbe Ziel, teilen die Keys und Values aber einfach zwischen mehreren Heads, statt sie zu komprimieren. Für Anleger ist der Punkt interessant, weil solche Sparverfahren beeinflussen, wie viele Grafikkarten ein Anbieter überhaupt kaufen muss.