KV-Cache-Kompression
KV-Cache-Kompression bezeichnet Verfahren, die den Zwischenspeicher eines Sprachmodells verkleinern, in dem es sich den bisherigen Text merkt. Weil dieser Speicher mit jedem zusätzlichen Wort wächst, entscheidet seine Größe darüber, wie lange Chats sein dürfen und wie teuer der Betrieb wird.
Wenn ein Chatbot eine Antwort schreibt, erzeugt er sie Wort für Wort. Für jedes neue Wort muss er den gesamten bisherigen Text berücksichtigen. Damit er dafür nicht jedes Mal alles neu durchrechnet, legt er Zwischenergebnisse in einem Speicher ab. Dieser Speicher heißt KV-Cache, abgekürzt für Key-Value-Cache, also einen Zwischenspeicher aus Schlüsseln und Werten. Er wächst mit jedem Wort weiter an und belegt teuren Platz auf der Grafikkarte. KV-Cache-Kompression fasst alle Techniken zusammen, die diesen Speicher kleiner machen, ohne dass die Antworten spürbar schlechter werden.
Was der Speicherhunger in der Praxis kostet
Der KV-Cache ist der heimliche Flaschenhals großer Sprachmodelle. Bei langen Gesprächen kann er mehr Platz belegen als das Modell selbst. Ein Modell mittlerer Größe braucht für ein Gespräch mit 100.000 Wörtern schnell mehrere Gigabyte allein für diesen Zwischenspeicher. Und dieser Platz wird pro gleichzeitigem Nutzer benötigt, nicht einmal für alle zusammen.
Daraus folgt ein direkter Zusammenhang mit dem Preis. Je weniger Speicher ein Gespräch belegt, desto mehr Gespräche passen gleichzeitig auf dieselbe Grafikkarte. Anbieter rechnen das in Anfragen pro Sekunde pro Karte um. Halbiert man den Cache, verdoppelt sich im Idealfall der Durchsatz. Deshalb ist Cache-Kompression für Betreiber oft lohnender als ein besseres Modell.
Auch die Werbeversprechen zur Kontextlänge hängen daran. Wenn ein Anbieter mit einem Fenster von einer Million Wörtern wirbt, steht dahinter fast immer ein komprimierter Cache. Ohne solche Verfahren wären solche Längen technisch zwar möglich, aber wirtschaftlich sinnlos.
Vergessen, gröber speichern, zusammenfassen
Der einfachste Ansatz ist Wegwerfen. Das Modell behält nur die neuesten Wörter und einige besonders wichtige vom Anfang und löscht den Rest. Das funktioniert, weil viele Zwischenergebnisse für die nächste Vorhersage kaum eine Rolle spielen. Man kann sich das wie Mitschriften vorstellen, aus denen man alles streicht, was man ohnehin nie wieder nachschlägt. Der Nachteil: Was gelöscht ist, ist endgültig weg. Fragt jemand später doch nach einem Detail von vorne, fällt die Antwort falsch aus.
Der zweite Ansatz speichert gröber statt weniger. Die Zwischenergebnisse sind Zahlen, und Zahlen kann man mit unterschiedlicher Genauigkeit ablegen. Statt sechzehn Stellen speichert man vier oder acht. Dieses Verfahren heißt Quantisierung und schrumpft den Cache je nach Einstellung auf ein Viertel. Der Qualitätsverlust ist meist klein, weil kleine Rundungsfehler sich in der Gesamtrechnung wieder herausmitteln.
Der dritte Ansatz baut die Kompression schon ins Modell ein. Bei Multi-Query Attention oder Grouped-Query Attention teilen sich mehrere Rechenpfade denselben Cache-Eintrag, statt jeweils einen eigenen anzulegen. Ein neueres Verfahren namens Multi-Head Latent Attention speichert die Zwischenergebnisse in einer stark verdichteten Form und rechnet sie bei Bedarf zurück. Solche Architekturen muss man von Anfang an so trainieren, dafür ist der Effekt am größten.
Wo der Begriff in Meldungen auftaucht
Am häufigsten begegnet man KV-Cache-Kompression in technischen Berichten zu neuen Modellen. Als DeepSeek 2024 seine Modelle vorstellte, war die verdichtete Speicherung der Zwischenergebnisse ein zentraler Grund für die niedrigen Betriebskosten. Auch Meldungen über plötzlich gesenkte Preise pro Anfrage haben oft solche Optimierungen als Ursache und nicht billigere Hardware.
Indirekt merkt man den Effekt als Nutzer. Wenn ein Chatbot in sehr langen Unterhaltungen Details vom Anfang verwechselt, kann ein aggressiv gekürzter Cache dahinterstecken. Ein verbreiteter Irrtum ist, das Modell habe etwas vergessen wie ein Mensch. Tatsächlich wurde die Erinnerung aktiv gelöscht, um Platz zu sparen.
Abgrenzen sollte man den Begriff von der Modellkompression. Dort wird das Modell selbst verkleinert, also seine gelernten Parameter. Bei der KV-Cache-Kompression bleibt das Modell unverändert, nur sein Arbeitsspeicher während eines Gesprächs schrumpft. Beides wird oft kombiniert, zielt aber auf verschiedene Engpässe.