Subquadratische Attention
Subquadratische Attention bezeichnet Verfahren, die den Rechenaufwand von Sprachmodellen beim Verarbeiten langer Texte langsamer wachsen lassen als quadratisch. Statt jedes Wort mit jedem anderen zu vergleichen, wird die Zahl der Vergleiche gezielt reduziert.
Moderne Sprachprogramme wie ChatGPT lesen einen Text nicht Wort für Wort isoliert. Sie prüfen für jedes Wort, welche anderen Wörter im Text dazu wichtig sind. Dieses Prüfen heißt Attention, auf Deutsch Aufmerksamkeit. Im klassischen Verfahren wird dabei wirklich jedes Wort mit jedem anderen verglichen. Bei 1.000 Wörtern sind das eine Million Vergleiche, bei 10.000 Wörtern schon hundert Millionen. Der Aufwand wächst also quadratisch: doppelt so viel Text bedeutet viermal so viel Rechnerei. Subquadratische Attention ist der Sammelbegriff für Verfahren, bei denen der Aufwand langsamer wächst als das.
Warum lange Texte am Quadrat scheitern
Die Menge an Text, die ein Modell auf einmal betrachten kann, nennt man Kontextfenster. Nutzer wollen darin ganze Bücher, Programmcode oder stundenlange Gesprächsverläufe unterbringen. Beim klassischen Verfahren wird das schnell unbezahlbar. Ein Sprung von 10.000 auf 100.000 Wörter verzehnfacht nicht die Kosten, sondern verhundertfacht sie.
Dazu kommt der Speicherverbrauch. Die Tabelle mit allen Wort-zu-Wort-Vergleichen muss im Grafikspeicher liegen, und der ist auf teuren Rechenkarten knapp. Genau hier entsteht in der Praxis die harte Grenze. Viele Modelle könnten längere Texte prinzipiell verarbeiten, scheitern aber am verfügbaren Speicher.
Wirtschaftlich ist das eine der wichtigsten Stellschrauben der Branche. Jede Anfrage an ein Sprachmodell kostet Strom und Rechenzeit. Wenn Firmen die Kosten pro langer Anfrage halbieren, entscheidet das über die Marge ganzer Produkte. Deshalb steckt in effizienterer Attention sehr viel Forschungsgeld.
Abkürzungen statt aller Vergleiche
Ein naheliegender Ansatz ist, überflüssige Vergleiche einfach wegzulassen. Man nennt das eine dünn besetzte oder spärliche Attention. Jedes Wort schaut dann nur auf seine nächsten Nachbarn plus einige wenige feste Ankerpunkte im Text. Das ist wie beim Lesen: Für das Verständnis eines Satzes braucht man selten Seite 300.
Ein zweiter Ansatz ändert die Rechenreihenfolge. Mathematisch lässt sich die Formel so umstellen, dass die riesige Vergleichstabelle nie vollständig entsteht. Stattdessen fasst das Modell den bisherigen Text laufend in einem kompakten Zwischenstand zusammen. Der Aufwand wächst dann nur noch linear, also proportional zur Textlänge. Diese Familie heißt lineare Attention und ist mit den sogenannten Zustandsraummodellen eng verwandt.
Ein häufiger Irrtum ist, dass diese Verfahren gratis seien. Man tauscht Genauigkeit gegen Geschwindigkeit. Wer Vergleiche streicht, riskiert, dass das Modell einen entscheidenden Bezug am Textanfang übersieht. Abzugrenzen ist das übrigens von FlashAttention: Dieses Verfahren rechnet weiterhin quadratisch, geht aber nur geschickter mit dem Speicher um.
Wo die Technik in Produkten auftaucht
Wenn ein Anbieter mit einem Kontextfenster von einer Million Zeichen wirbt, steckt fast immer eine Mischform dahinter. Typisch ist, dass einige Schichten des Modells weiterhin vollständig vergleichen und andere Schichten abkürzen. Auch Programmierassistenten, die ein ganzes Projektverzeichnis lesen sollen, sind auf solche Tricks angewiesen.
In Nachrichten aus der Tech-Branche begegnet dir der Begriff meist in zwei Zusammenhängen. Zum einen bei neuen Modellarchitekturen mit Namen wie Mamba, die auf klassische Attention weitgehend verzichten. Zum anderen bei Chips und Rechenzentren, wo es um Kosten pro verarbeitetem Text geht.
Für dich als Nutzer ist der Effekt unsichtbar, aber spürbar. Antworten auf lange Dokumente kommen schneller und sind billiger. Gleichzeitig lohnt ein kritischer Blick: Modelle mit sehr großem Kontextfenster verlieren in der Mitte langer Texte oft Details. Diese Schwäche hat mit den Abkürzungen bei der Attention direkt zu tun.