Lineare Attention
Lineare Attention ist eine sparsame Rechenmethode in Sprachmodellen: Statt jedes Wort mit jedem anderen zu vergleichen, führt das Modell eine laufende Zusammenfassung des Textes mit. Dadurch wachsen Rechenaufwand und Kosten bei langen Texten nur noch gleichmäßig statt explosionsartig.
Programme wie ChatGPT verarbeiten Text, indem sie prüfen, welche Wörter im Text zusammengehören. Im Standardverfahren vergleicht das Programm dazu jedes Wort mit jedem anderen Wort. Bei 100 Wörtern sind das 10.000 Vergleiche, bei 1.000 Wörtern schon eine Million. Der Aufwand wächst also quadratisch: Doppelt so viel Text bedeutet viermal so viel Rechenarbeit. Lineare Attention ist eine Umbauvariante dieses Verfahrens. Sie verzichtet auf die vollständige Vergleichstabelle und arbeitet stattdessen mit einer laufend aktualisierten Zusammenfassung des bisherigen Textes. Doppelt so viel Text kostet dann nur noch doppelt so viel Rechenarbeit.
Warum das wichtig ist
Die Länge des Textes, den ein Modell auf einmal überblicken kann, ist eine der wichtigsten Eigenschaften moderner KI-Systeme. Nutzer wollen ganze Bücher, Gesetzestexte oder monatelange Chatverläufe hineinkopieren. Genau hier wird das quadratische Wachstum zum Problem.
Ein Modell, das 2.000 Wörter mühelos schafft, erstickt bei 200.000 Wörtern an den Kosten. Die Rechenarbeit ist dann nicht hundertmal, sondern zehntausendmal so groß. Dazu kommt der Speicherbedarf: Das übliche Verfahren muss sich für jedes bisherige Wort Zwischenergebnisse merken. Der Speicher wächst mit jedem neuen Wort weiter an.
Lineare Attention greift beide Probleme an. Der Rechenaufwand wächst gleichmäßig, und der Speicherbedarf bleibt sogar konstant. Damit werden sehr lange Eingaben wirtschaftlich überhaupt erst möglich.
Wie es funktioniert
Ein Vergleich hilft. Stell dir vor, du sollst eine Frage zu einem 500-Seiten-Roman beantworten. Das übliche Verfahren blättert für jede Frage den ganzen Roman neu durch und markiert alle relevanten Stellen. Das ist gründlich, aber langsam.
Lineare Attention geht anders vor. Sie liest den Roman einmal und führt dabei ein Notizblatt mit. Nach jeder Seite wird das Notizblatt aktualisiert. Für die Antwort schaut das Modell nur noch auf dieses Notizblatt, nicht mehr auf den ganzen Text.
Technisch ist dieses Notizblatt eine Zahlentabelle fester Größe, oft “Zustand” genannt. Jedes neue Wort verändert die Zahlen darin ein wenig. Möglich wird das durch einen mathematischen Trick: Man vertauscht die Reihenfolge der Rechenschritte so, dass die große Vergleichstabelle nie vollständig entstehen muss.
Der Preis dafür ist Genauigkeit. Ein Notizblatt fester Größe kann nicht alles behalten. Es muss verdichten, und dabei gehen Details verloren. Reine lineare Attention ist deshalb bei Aufgaben schwächer, die exaktes Erinnern verlangen — etwa eine Zahl, die vor 50.000 Wörtern einmal genannt wurde. Aus diesem Grund setzen die meisten Systeme heute auf Mischformen: Ein Teil der Modellschichten rechnet linear und günstig, ein kleinerer Teil nutzt weiterhin die vollständigen Vergleiche.
Wo man dem Begriff begegnet
Direkt sichtbar ist lineare Attention nie. Man merkt sie an Produkteigenschaften. Wenn ein Anbieter damit wirbt, dass sein Modell eine Million Wörter Kontext verarbeitet, steckt oft eine solche Technik dahinter. Auch fallende Preise pro Anfrage bei langen Eingaben gehen teilweise darauf zurück.
In Fachnachrichten tauchen Namen konkreter Verfahren auf: Mamba, RWKV, RetNet oder “lineare Aufmerksamkeit mit Gating”. Chinesische Labore wie MiniMax und Alibaba haben Modelle veröffentlicht, die solche Schichten mit klassischen mischen. Auch bei KI auf dem Handy ist die Technik interessant, weil der konstante Speicherbedarf gut zu kleinen Geräten passt.
Für Anleger ist die Frage relevant, weil sie den Bedarf an Rechenzentren berührt. Wird das Rechnen pro Wort günstiger, sinkt der Hardwarebedarf pro Anfrage. Bisher wurde die Ersparnis allerdings meist in längere Texte und mehr Nutzung investiert, nicht in kleinere Rechenzentren.