Sparse Attention
Sparse Attention ist ein Sparverfahren in modernen Sprachmodellen: Statt jedes Wort eines Textes mit jedem anderen zu vergleichen, werden nur ausgewählte Wortpaare betrachtet. Das senkt den Rechenaufwand bei langen Texten drastisch und macht Eingaben von hunderttausenden Wörtern überhaupt erst bezahlbar.
Programme wie ChatGPT verarbeiten Text, indem sie jedes Wort in Beziehung zu den anderen Wörtern setzen. Nur so wird klar, worauf sich ein „er“ oder ein „das“ bezieht. Im Normalfall vergleicht das Programm dafür wirklich jedes Wort mit jedem anderen. Bei einem kurzen Satz ist das mühelos, bei einem ganzen Buch wird es gewaltig: Bei doppelt so vielen Wörtern gibt es viermal so viele Paare. Sparse Attention ist die Antwort darauf. Das Programm vergleicht nur noch einen bewusst ausgewählten Teil der Wortpaare und lässt den Rest weg. „Sparse“ heißt auf Deutsch etwa „dünn besetzt“ und beschreibt genau das: Die Tabelle der Vergleiche hat große leere Flächen.
Warum lange Texte sonst unbezahlbar werden
Der Aufwand wächst quadratisch. Bei 1.000 Wörtern sind es rund eine Million Vergleiche. Bei 100.000 Wörtern sind es schon zehn Milliarden. Genau deshalb hatten frühe Sprachmodelle ein Limit von wenigen tausend Wörtern pro Eingabe. Wer mehr wollte, musste den Text in Häppchen zerlegen und Zusammenhänge über die Schnittstellen hinweg verlieren.
Heute werben Anbieter damit, dass man ganze Codeprojekte, Gerichtsakten oder Bücher am Stück einwerfen kann. Diese großen Eingabefenster von hunderttausenden oder sogar Millionen Wörtern sind ohne Sparverfahren wie Sparse Attention praktisch nicht finanzierbar. Jede Anfrage kostet Rechenzeit auf teuren Spezialchips, und diese Kosten fallen bei jeder einzelnen Nutzung erneut an.
Dazu kommt der Speicher. Das Modell muss sich zu jedem bereits verarbeiteten Wort Zwischenergebnisse merken, damit es beim nächsten Wort nicht von vorn rechnen muss. Bei sehr langen Texten füllt dieser Zwischenspeicher den Grafikkartenspeicher schneller als das Modell selbst. Sparse Attention reduziert auch diesen Bedarf, weil weniger alte Wörter überhaupt noch abgefragt werden.
Welche Wortpaare übrig bleiben
Die einfachste Variante ist ein Fenster: Jedes Wort schaut nur auf seine nächsten Nachbarn, etwa die letzten 500 Wörter. Das genügt für Grammatik und lokalen Sinnzusammenhang, verliert aber den Bezug zum Anfang des Textes. Deshalb kombiniert man das Fenster meist mit einigen wenigen globalen Ankern. Das sind Wörter, die jeder sehen darf und die selbst alles sehen dürfen, so etwas wie ein schwarzes Brett für den ganzen Text.
Eine gute Analogie ist ein Firmennetzwerk. Jeder spricht täglich mit seinem Team, dazu gibt es ein paar Leute in der Zentrale, mit denen alle Kontakt halten. Niemand muss jeden Kollegen einzeln kennen, und trotzdem erreicht eine Information in wenigen Schritten das ganze Haus. Manche Verfahren streuen zusätzlich zufällige Verbindungen ein, damit auch unerwartete Bezüge eine Chance haben.
Neuere Modelle wählen das Muster nicht mehr fest, sondern lernen es. Ein kleines Zusatznetz schätzt vorab, welche Textabschnitte für das aktuelle Wort überhaupt relevant sind, und nur die werden genau geprüft. Das ist genauer als ein starres Fenster, aber schwieriger zu programmieren, weil Grafikkarten am schnellsten arbeiten, wenn sie gleichmäßige Blöcke abarbeiten. Deshalb rechnen die meisten Umsetzungen nicht mit einzelnen Wörtern, sondern mit Blöcken von etwa 64 Wörtern.
Wo die Technik in Produkten steckt
Man begegnet Sparse Attention selten unter diesem Namen, sondern über ihre Folgen. Wenn ein Anbieter ein Kontextfenster von einer Million Zeichen bewirbt, steckt fast immer ein solches Sparverfahren dahinter. Auch Programmierassistenten, die ein komplettes Projektverzeichnis überblicken, arbeiten so. In Fachartikeln tauchen Namen wie Longformer, BigBird oder Sliding Window Attention auf, die alle Spielarten derselben Idee sind.
Ein verbreiteter Irrtum ist, Sparse Attention sei dasselbe wie Mixture of Experts. Beides spart Rechenzeit, aber an verschiedenen Stellen. Mixture of Experts schaltet Teile des Modells ab, Sparse Attention streicht Vergleiche zwischen Wörtern. Große Modelle nutzen oft beides gleichzeitig.
Der Preis ist ein Qualitätsrisiko. Wenn ein wichtiger Bezug zufällig durch das Raster fällt, übersieht das Modell einen Zusammenhang. Bei Aufgaben, bei denen ein einziges Detail aus Seite drei auf Seite 800 zählt, schneiden sparsame Modelle deshalb manchmal schlechter ab. Anbieter testen das mit Aufgaben, bei denen ein einzelner Satz in einem riesigen Text versteckt wird.