Cache-Hit (LLM-Inferenz)

Wenn du einem KI-Textprogramm wie ChatGPT eine Frage schickst, liest das Programm zuerst deinen gesamten Text ein. Dabei rechnet es für jedes Wort Zwischenwerte aus, bevor überhaupt das erste Wort der Antwort entsteht. Diese Rechnung kostet Zeit und Strom. Nun schicken viele Anwendungen immer wieder fast denselben Text los, zum Beispiel eine lange Anweisung am Anfang jeder Anfrage. Ein Cache-Hit liegt vor, wenn das System merkt: Diesen Anfang habe ich schon einmal durchgerechnet, die Zwischenwerte liegen noch bereit. Statt neu zu rechnen, holt es die gespeicherten Werte hervor. Das Gegenstück heißt Cache-Miss: Dann ist nichts Passendes gespeichert und alles muss von vorn berechnet werden.

Was ein Treffer an Geld und Wartezeit spart

Der spürbarste Effekt ist die Wartezeit bis zum ersten Wort der Antwort. Fachleute nennen sie Time to First Token. Bei einem sehr langen Eingabetext kann diese Wartezeit mehrere Sekunden betragen. Mit einem Cache-Hit schrumpft sie oft auf einen Bruchteil davon, weil der teure erste Rechenschritt entfällt.

Dazu kommt der Preis. Anbieter wie OpenAI, Anthropic oder Google berechnen ihre Modelle nach Textmenge, gemessen in Tokens. Ein Token ist ein Textbaustein, meist ein kurzes Wort oder eine Silbe. Für zwischengespeicherte Tokens verlangen die Anbieter deutlich weniger, je nach Dienst nur ein Zehntel bis ein Viertel des normalen Preises. Wer eine Anwendung mit Millionen Anfragen pro Monat betreibt, spart damit sehr viel Geld.

Deshalb ist der Anteil der Cache-Hits an allen Anfragen, die sogenannte Trefferquote, eine wichtige Kennzahl für Entwickler. Eine hohe Quote bedeutet günstige und schnelle Anwendungen. Eine niedrige Quote deutet oft darauf hin, dass die Anfragen schlecht aufgebaut sind.

Warum nur der Anfang zählt

Ein Sprachmodell verarbeitet Text von links nach rechts. Der Zwischenwert für das zwanzigste Wort hängt davon ab, was in den ersten neunzehn Wörtern stand. Ändert man ein Wort am Anfang, stimmen alle folgenden Zwischenwerte nicht mehr. Deshalb funktioniert der Cache nur für ein zusammenhängendes Stück vom Textanfang an, das sogenannte Präfix.

Man kann sich das wie ein Rezept vorstellen, das man Schritt für Schritt abarbeitet. Die ersten zehn Schritte sind bei jedem Gericht gleich, also bereitet man sie vor und stellt sie kalt. Sobald jemand aber schon Schritt zwei ändert, ist die ganze Vorbereitung wertlos. Genau deshalb raten alle Anbieter dazu, unveränderliche Teile nach vorn zu stellen und Wechselndes ans Ende.

Technisch gespeichert werden dabei die Werte des sogenannten KV-Cache, also Zahlenblöcke im Grafikkartenspeicher. Dieser Speicher ist teuer und begrenzt. Darum bleiben Einträge nur wenige Minuten liegen, wenn sie niemand erneut anfragt. Ein typischer Irrtum ist übrigens, der Cache speichere fertige Antworten. Das tut er nicht: Er speichert nur die Vorverarbeitung der Eingabe, die Antwort wird jedes Mal neu erzeugt und kann anders ausfallen.

Wo Cache-Hits im Alltag auftauchen

Am deutlichsten merkst du den Effekt in einem längeren Chat. Jede neue Frage schickt die gesamte bisherige Unterhaltung noch einmal mit. Der alte Teil ist unverändert und liefert einen Cache-Hit, nur deine neue Frage muss frisch gerechnet werden. Ohne dieses Verfahren würden lange Gespräche immer träger und teurer werden.

Auch Programmierhilfen wie GitHub Copilot oder Cursor arbeiten damit. Sie legen den Quelltext eines Projekts an den Anfang jeder Anfrage. Solange du nur an einer Stelle tippst, bleibt der Rest gleich und kommt aus dem Cache.

In Finanz- und Technikmeldungen begegnet dir der Begriff meist beim Thema Kosten. Wenn ein Anbieter mit stark gesenkten Preisen wirbt, bezieht sich das häufig auf zwischengespeicherte Eingaben, nicht auf den vollen Tarif. Ein Blick auf die Preisliste lohnt sich deshalb: Dort stehen getrennte Zeilen für neue und für zwischengespeicherte Tokens.