Cache-Read
Cache-Read bezeichnet das Wiederverwenden bereits berechneter Zwischenergebnisse beim Betrieb eines KI-Sprachmodells. Das spart Rechenzeit und Kosten, weil gleichbleibende Teile einer Anfrage nicht jedes Mal neu verarbeitet werden müssen.
Wenn ein KI-Modell einen Text verarbeitet, berechnet es für jedes Wort eine Reihe von Zwischenwerten — im Fachjargon Key-Value-Paare, kurz KV. Diese Werte kosten Rechenzeit. Wenn sich ein Text nur wenig verändert, zum Beispiel weil ein langer Systemhinweis immer gleich bleibt, wäre es Verschwendung, dieselben Werte jedes Mal neu zu berechnen. Genau hier setzt der Cache-Read an: Das System speichert die bereits berechneten Zwischenwerte zwischen und liest sie beim nächsten Mal einfach aus diesem Zwischenspeicher — dem sogenannten Cache — heraus, statt sie neu zu erzeugen. Das Ergebnis ist dasselbe, aber die Arbeit fällt nur einmal an.
Kosten und Geschwindigkeit beim Modellbetrieb
KI-Modelle werden meist nicht einmalig genutzt, sondern viele tausend Mal pro Minute. Jede einzelne Anfrage kostet Rechenzeit auf teurer Hardware. API-Anbieter — also Dienste, die den Zugang zu einem Modell gegen Bezahlung bereitstellen — rechnen deshalb oft getrennt ab: Neue Berechnungen kosten mehr, ein Cache-Read kostet weniger oder gar nichts.
Anthropic, der Hersteller des Modells Claude, macht das besonders transparent: Ein sogenannter Cache-Write — das erstmalige Speichern der Zwischenwerte — kostet dort etwa 25 % mehr als eine normale Berechnung. Ein anschließender Cache-Read kostet hingegen nur noch rund 10 % des ursprünglichen Preises. Wer also viele Anfragen mit gleichen Textbausteinen schickt, kann seine Betriebskosten erheblich senken.
Wann der Cache-Read greift
Damit ein Cache-Read überhaupt möglich ist, muss der Anfang einer neuen Eingabe mit dem Anfang einer früheren übereinstimmen. Der zwischengespeicherte Teil muss also ein gemeinsamer Präfix sein — ein Text, der vor dem eigentlich neuen Inhalt steht und sich nicht verändert hat. Das Modell berechnet dann nur den neuen, veränderten Rest neu; den Rest liest es aus dem Cache.
Ein typisches Beispiel: Ein Entwickler baut einen Chatbot, der bei jeder Anfrage zunächst ein langes Regelwerk erhält — etwa die Persönlichkeitsbeschreibung des Bots oder eine umfangreiche Wissensbasis. Dieser Teil ist bei jedem Nutzer identisch. Ohne Cache würde das Modell ihn tausend Mal lesen und berechnen. Mit Cache-Read passiert das nur einmal. Die individuelle Nutzerfrage hingegen ist jedes Mal neu und wird tatsächlich neu berechnet.
Der Cache hat eine begrenzte Lebensdauer. Bei vielen Anbietern verfallen gespeicherte Werte nach einigen Minuten Inaktivität. Das bedeutet: Bei sporadischen Anfragen lohnt sich das Caching weniger, bei dauerhaft hohem Volumen dafür umso mehr.
Cache-Read in Produkten und Nachrichten
In der Praxis taucht der Begriff vor allem in der technischen Dokumentation von KI-API-Anbietern auf — also in den Anleitungen, die erklären, wie Entwickler das Modell in ihre eigenen Programme einbauen. Anthropic und OpenAI haben Prompt Caching als explizites Feature eingeführt und zeigen in ihren Abrechnungen an, wie viele Token — also Texteinheiten — per Cache-Read verarbeitet wurden.
In Finanznachrichten rund um KI-Unternehmen ist der Begriff relevant, wenn es um Betriebskosten und Margen geht. Je effizienter ein Anbieter Anfragen durch Caching bedienen kann, desto günstiger kann er sein Produkt anbieten — oder desto höher ist sein Gewinn bei gleichem Preis. Der Cache-Read ist damit nicht nur ein technisches Detail, sondern ein Hebel in der Kostenkalkulation der gesamten KI-Industrie.
Für normale Nutzer eines Chatbots ist der Cache unsichtbar. Er wirkt sich höchstens in kürzeren Antwortzeiten aus, wenn ein langer Kontext bereits zwischengespeichert ist. Wer jedoch selbst KI-Dienste entwickelt oder bewertet, stößt auf diesen Begriff fast unvermeidlich.
