Linear Attention
Linear Attention ist eine Rechenmethode in Sprachmodellen, bei der der Aufwand nur proportional zur Textlänge wächst statt quadratisch. Damit lassen sich sehr lange Texte verarbeiten, ohne dass Rechenzeit und Speicherbedarf explodieren.
Moderne Sprachprogramme lesen einen Text nicht Wort für Wort isoliert. Sie prüfen für jedes Wort, welche anderen Wörter im Text dazu wichtig sind. Dieses Vergleichen nennt man Attention, zu Deutsch Aufmerksamkeit. Im Standardverfahren wird dabei jedes Wort mit jedem anderen verglichen. Bei 1.000 Wörtern sind das eine Million Vergleiche, bei 10.000 Wörtern schon hundert Millionen. Linear Attention ist eine Gruppe von Rechentricks, die dieses Verhalten ändert: Der Aufwand wächst dann nur noch im gleichen Takt wie der Text selbst, nicht mehr im Quadrat.
Was lange Texte so teuer macht
Der Unterschied zwischen quadratischem und linearem Wachstum klingt technisch, entscheidet aber über die Kosten. Verdoppelt man die Textlänge, verdoppelt sich bei linearem Wachstum der Aufwand. Beim quadratischen Verfahren vervierfacht er sich. Verzehnfacht man die Länge, ist es der Faktor hundert. Ab einer gewissen Textlänge wird das Standardverfahren schlicht unbezahlbar.
Genau hier liegt eine der großen Grenzen heutiger Sprachmodelle. Ein Modell soll ein ganzes Buch zusammenfassen oder eine Firmendatenbank durchsuchen. Es soll sich in einem Gespräch an alles erinnern, was vor Stunden gesagt wurde. Diese Menge an Text nennt man Kontextfenster. Je größer das Fenster sein soll, desto stärker schlägt die quadratische Rechnung zu.
Dazu kommt der Speicher. Das Standardverfahren legt für jedes bisher gelesene Wort Zwischenergebnisse ab, die sogenannte Zwischenspeicherung von Schlüsseln und Werten. Dieser Speicher wächst mit jedem weiteren Wort. Linear-Attention-Verfahren halten stattdessen einen Zustand fester Größe. Ob der Text 1.000 oder 100.000 Wörter lang ist, ändert am Speicherbedarf wenig.
Der Rechentrick mit der Reihenfolge
Attention arbeitet mit drei Zahlenlisten pro Wort. Sie heißen Anfrage, Schlüssel und Wert. Die Anfrage sagt sinngemäß: Das suche ich. Der Schlüssel sagt: Das biete ich an. Der Wert enthält die eigentliche Information, die weitergereicht wird. Im Standardverfahren wird jede Anfrage mit jedem Schlüssel verrechnet, und daraus entsteht die große quadratische Tabelle.
Linear Attention vermeidet diese Tabelle, indem sie die Reihenfolge der Rechenschritte umstellt. Statt erst Anfragen mit Schlüsseln zu vergleichen, werden zuerst Schlüssel und Werte zu einer Art Sammelmappe zusammengefasst. Diese Mappe hat eine feste Größe. Jede neue Anfrage greift dann nur noch einmal auf die Mappe zu. Mathematisch ist das ein Umklammern in einer Multiplikation, ähnlich wie man beim Rechnen Klammern anders setzt, um sich Arbeit zu sparen.
Damit dieser Umbau überhaupt erlaubt ist, muss man auf eine Rechenfunktion verzichten, die im Standardverfahren die Vergleichswerte gewichtet. Sie heißt Softmax und sorgt dafür, dass sich das Modell sehr gezielt auf einzelne Wörter konzentrieren kann. Linear Attention ersetzt sie durch einfachere Näherungen. Das ist der Preis: Die Aufmerksamkeit wird etwas unschärfer. Bei Aufgaben, bei denen ein einzelnes Detail aus einem langen Text exakt wiedergefunden werden muss, schneiden reine Linear-Attention-Modelle oft schlechter ab.
Wo die Technik in Produkten auftaucht
In Fachartikeln und Firmenmitteilungen begegnet einem Linear Attention meist im Zusammenhang mit sehr großen Kontextfenstern. Wenn ein Anbieter damit wirbt, dass sein Modell eine Million Wörter am Stück verarbeitet, steckt fast immer ein solches Sparverfahren dahinter. Verwandte Namen, die in denselben Meldungen auftauchen, sind Mamba, RWKV oder allgemein Zustandsraum-Modelle. Sie beruhen auf derselben Grundidee eines mitlaufenden Zustands fester Größe.
In der Praxis setzen viele Anbieter auf Mischformen. Ein Teil der Modellschichten rechnet klassisch und genau, ein anderer Teil linear und billig. So bleibt die Präzision bei kurzen Textstellen erhalten, während die Kosten bei langen Texten beherrschbar bleiben. Solche Hybride gelten derzeit als der praktischste Weg.
Spürbar wird das für Nutzer an ganz alltäglichen Dingen. Ein Chatbot antwortet auch nach langem Gespräch noch schnell. Ein Assistent kann ein komplettes PDF-Dokument einlesen, statt nur Ausschnitte. Und Sprachmodelle laufen zunehmend direkt auf Handys, wo Speicher knapp ist. Ein häufiger Irrtum ist übrigens, Linear Attention mache Modelle klüger. Sie macht sie vor allem billiger und ausdauernder im Umgang mit langen Texten.