SWA-basiertes HiCache
SWA-basiertes HiCache ist eine Technik, mit der Chatbot-Server sich Zwischenergebnisse aus früheren Rechenschritten merken und auf mehreren Speicherebenen ablegen. Weil das Modell dabei nur ein gleitendes Textfenster berücksichtigt, bleibt die Menge der gespeicherten Daten auch bei sehr langen Gesprächen begrenzt.
Wenn ein Sprachmodell einen Text schreibt, erzeugt es ein Wort nach dem anderen. Für jedes neue Wort schaut es auf alles, was vorher schon dasteht. Damit es diese Vorarbeit nicht jedes Mal wiederholen muss, legt der Server die Zwischenergebnisse in einem Zwischenspeicher ab, dem sogenannten Cache. Dieser Speicher wird bei langen Gesprächen aber riesig und passt nicht mehr auf die schnellen Grafikkarten-Chips. SWA-basiertes HiCache löst das mit zwei Ideen gleichzeitig: Erstens berücksichtigt das Modell pro Wort nur ein begrenztes Fenster der letzten Wörter statt des ganzen Textes. Zweitens werden die Zwischenergebnisse über mehrere Speicherebenen verteilt, von sehr schnell und knapp bis langsam und billig.
Was der begrenzte Speicher bei langen Chats kostet
Der schnelle Speicher einer KI-Grafikkarte ist teuer und klein, oft 80 bis 192 Gigabyte. Ein einziger langer Chat mit hunderttausenden Wörtern kann davon mehrere Gigabyte belegen. Sind viele Nutzer gleichzeitig aktiv, ist der Speicher voll, bevor die Rechenleistung ausgeschöpft ist. Der Server muss dann Anfragen warten lassen oder alte Zwischenergebnisse wegwerfen.
Weggeworfene Zwischenergebnisse sind besonders ärgerlich. Kommt der Nutzer mit einer Rückfrage zurück, muss der Server das gesamte bisherige Gespräch neu durchrechnen. Bei sehr langen Texten dauert die erste Antwort dann viele Sekunden. Diese Wartezeit auf das erste Wort ist eine der wichtigsten Kennzahlen für die Qualität eines KI-Dienstes.
Beide Bausteine greifen hier zusammen. Das gleitende Fenster senkt die Datenmenge pro Gespräch, die Speicherhierarchie schafft zusätzlichen Platz für viele Gespräche gleichzeitig. In der Praxis lassen sich damit auf derselben Hardware deutlich mehr Nutzer bedienen. Für Betreiber ist das direkt eine Frage der Kosten pro Antwort.
Gleitendes Fenster plus Speicherstufen
SWA steht für Sliding Window Attention, also gleitende Fensterbeachtung. Statt alle vorherigen Wörter zu betrachten, sieht das Modell in solchen Schichten nur die letzten paar tausend. Das Fenster wandert mit dem Text mit, wie ein Leseschlitz über einer langen Papierrolle. Ältere Wörter fallen aus dem Fenster heraus, ihre Zwischenergebnisse können gelöscht werden. Der Speicherbedarf wächst dadurch nicht mehr mit der Textlänge, sondern bleibt ungefähr konstant.
HiCache steht für hierarchisches Caching. Die Zwischenergebnisse liegen nicht nur im Grafikkartenspeicher, sondern auch im normalen Arbeitsspeicher des Servers und notfalls auf SSD-Festplatten. Ganz oben ist es schnell und knapp, weiter unten langsam und geräumig. Was gerade gebraucht wird, wandert nach oben, was länger ruht, sinkt nach unten. Das Prinzip ist dasselbe wie beim Schreibtisch: aktuelle Blätter liegen vor dir, ältere im Regal, sehr alte im Keller.
Viele Modelle mischen die beiden Aufmerksamkeitsarten. Ein Teil der Schichten arbeitet mit dem gleitenden Fenster, ein kleinerer Teil sieht weiterhin den ganzen Text. So bleibt die Fähigkeit erhalten, sich an eine Zahl vom Anfang des Dokuments zu erinnern. Genau diese vollen Schichten sind es dann, deren Daten von der Speicherhierarchie aufgefangen werden. Ein häufiger Irrtum ist, das gleitende Fenster begrenze die maximale Textlänge. Es begrenzt nur, wie weit eine einzelne Schicht direkt zurückblickt.
Wo die Technik im Betrieb auftaucht
Begegnen wird man dem Begriff vor allem in der Dokumentation von Inferenz-Servern, also der Software, die fertige Modelle für Anfragen bereitstellt. Projekte wie SGLang oder vLLM werben ausdrücklich mit hierarchischem Caching und mit Unterstützung für Sliding Window Attention. In Ankündigungen stehen dann Zahlen zu Durchsatz und zur Wartezeit auf das erste Wort.
Auf der Modellseite tauchen gleitende Fenster in vielen offenen Modellreihen auf, etwa bei Mistral oder Gemma. Wer solche Modelle selbst betreibt, stößt beim Einrichten fast automatisch auf die Cache-Einstellungen. Auch große Anbieter nutzen verwandte Verfahren, sprechen aber lieber von Prompt-Caching und geben Rabatte auf wiederverwendete Texteingaben.
Als Nutzer merkt man davon nur die Wirkung. Ein Chat mit einem langen hochgeladenen Dokument antwortet auf Rückfragen schneller als beim ersten Mal. Und Dienste können lange Kontexte überhaupt zu bezahlbaren Preisen anbieten. Genau das ist der Grund, warum solche Cache-Techniken in Fachnews regelmäßig Thema sind.