Heavily Compressed Attention

Moderne Sprachprogramme wie ChatGPT lesen einen Text Wort für Wort. Damit sie den Zusammenhang verstehen, schaut das Programm bei jedem neuen Wort auf alle vorherigen zurück. Dieses Zurückschauen nennt man Attention, zu Deutsch Aufmerksamkeit. Das Problem: Je länger der Text, desto mehr muss zurückgeschaut werden, und der Aufwand wächst dabei schneller als die Textlänge selbst. Heavily Compressed Attention ist der Sammelbegriff für Techniken, die diesen Rückblick stark eindampfen. Statt jedes einzelne frühere Wort exakt aufzubewahren, speichert das Programm nur noch verdichtete Zusammenfassungen davon.

Warum lange Texte sonst unbezahlbar werden

Bei der klassischen Attention verdoppelt sich der Aufwand nicht, wenn der Text doppelt so lang wird. Er vervierfacht sich. Bei zehnfacher Länge ist es das Hundertfache. Fachleute nennen das quadratisches Wachstum. Ein Text von 100.000 Wörtern kostet dadurch nicht hundertmal, sondern zehntausendmal so viel Rechenzeit wie ein Text von 1.000 Wörtern.

Dazu kommt der Speicherbedarf. Während ein Modell antwortet, hält es für jedes bisher gelesene Wort Zwischenergebnisse bereit, den sogenannten Cache. Dieser Zwischenspeicher liegt im Grafikkartenspeicher, und der ist teuer und knapp. Bei sehr langen Eingaben füllt allein dieser Cache mehrere Gigabyte. Genau deshalb waren Chatbots lange auf wenige tausend Wörter Kontext begrenzt.

Heavily Compressed Attention verschiebt diese Grenze deutlich. Anwendungen, die vorher unmöglich waren, werden dadurch praktikabel: ein ganzes Gesetzbuch analysieren, eine komplette Codebasis durchsuchen, ein monatelanges Chatprotokoll im Blick behalten. Ohne Kompression wäre das für die meisten Anbieter schlicht zu teuer.

Vom Wortprotokoll zum Sitzungsprotokoll

Ein Vergleich hilft. Stell dir vor, du müsstest eine achtstündige Konferenz protokollieren. Die exakte Variante wäre ein Wortprotokoll, in dem jeder Satz steht. Verlustfrei, aber unhandlich. Die komprimierte Variante ist ein Ergebnisprotokoll mit den Kernaussagen. Kürzer, schneller durchsuchbar, aber Details gehen verloren. Genau diesen Tausch macht Heavily Compressed Attention.

Technisch gibt es mehrere Wege dorthin. Bei einem Ansatz fasst das Modell Gruppen von Wörtern zu einem einzigen Sammelpunkt zusammen, oft mehrere Dutzend Wörter zu einem. Bei einem anderen Ansatz wirft es Einträge aus dem Zwischenspeicher weg, die es lange nicht mehr gebraucht hat. Wieder andere Verfahren speichern die Zahlen im Cache gröber, etwa mit vier statt sechzehn Stellen Genauigkeit.

Häufig kombiniert man zwei Auflösungen. Die letzten paar hundert Wörter bleiben unkomprimiert, weil sie meist am wichtigsten sind. Alles davor wird stark verdichtet. Wichtig ist die Abgrenzung zu einem verwandten Begriff: Bei Quantisierung wird das Modell selbst grob gespeichert, hier dagegen nur sein Gedächtnis an den laufenden Text.

Kontextfenster in Produkten und Werbeversprechen

In Produktankündigungen begegnet dir das Ergebnis dieser Technik, nicht ihr Name. Wenn ein Anbieter mit einem Kontextfenster von einer Million Token wirbt, steckt fast immer eine Form von Attention-Kompression dahinter. Ein Token ist dabei eine Wort- oder Silbeneinheit. Eine Million Token entsprechen grob mehreren tausend Buchseiten.

Ein verbreiteter Irrtum ist, ein großes Kontextfenster bedeute perfekte Erinnerung. Das stimmt nicht. Tests zeigen, dass komprimierte Modelle einzelne Details aus der Mitte langer Texte manchmal übersehen. Fachleute sprechen vom Problem der Nadel im Heuhaufen. Wer sich auf eine exakte Zahl aus Seite 300 verlässt, sollte sie deshalb nachprüfen.

Auch in Börsennachrichten taucht das Thema auf. Sinkende Kosten pro Anfrage sind ein zentrales Argument, wenn Anbieter über ihre Gewinnspannen sprechen. Kompressionsverfahren senken genau diese Kosten. Für dich als Nutzer zeigt sich der Effekt schlicht darin, dass du ein ganzes PDF hochladen kannst, statt es in Häppchen zu zerlegen.