Cache Reads

Wenn man einem Chatprogramm wie ChatGPT eine Frage stellt, schickt man Text an einen Computer im Rechenzentrum. Dieser Computer muss den gesamten Text erst einmal durchrechnen, bevor er antworten kann. Das kostet Zeit und Strom. Nun schicken viele Anwendungen bei jeder Anfrage denselben langen Textblock mit, etwa eine Anleitung oder ein hochgeladenes Dokument. Ein Cache Read bedeutet: Der Computer hat das Ergebnis dieser Rechnung von vorhin noch gespeichert und holt es einfach hervor. Er spart sich die Arbeit und liefert schneller eine Antwort.

Warum Anbieter dafür weniger Geld verlangen

Wer ein KI-Modell über eine Programmierschnittstelle nutzt, also automatisiert statt über eine Webseite, zahlt pro verarbeitetem Textstück. Diese Textstücke heißen Tokens; ein Token entspricht ungefähr einem halben deutschen Wort. Übliche Preise liegen bei wenigen Euro pro Million Tokens. Bei einem Cache Read verlangen die großen Anbieter oft nur zehn Prozent des normalen Preises. Der Grund ist einfach: Der teure Teil der Rechenarbeit ist bereits erledigt und bezahlt worden.

Für Unternehmen ist das kein Detail, sondern ein handfester Kostenfaktor. Ein Kundenservice-Bot bekommt bei jeder einzelnen Anfrage dieselben Verhaltensregeln vorgesetzt, vielleicht 5.000 Tokens lang. Bei einer Million Anfragen im Monat summiert sich das auf fünf Milliarden Tokens, die eigentlich immer gleich sind. Mit Zwischenspeicherung sinkt genau dieser Posten um rund neunzig Prozent. Deshalb tauchen Cache Reads inzwischen als eigene Zeile auf Rechnungen und in Quartalsberichten von KI-Firmen auf.

Der zweite Gewinn ist Geschwindigkeit. Die erste Antwort kommt spürbar früher, weil das Modell nicht mehr Tausende Tokens durchackern muss. Bei Programmierassistenten, die ganze Dateien im Blick behalten, macht das den Unterschied zwischen flüssigem Arbeiten und störendem Warten.

Was genau zwischengespeichert wird

Ein Sprachmodell liest einen Text nicht wie ein Mensch von vorne bis hinten mit den Augen. Es verwandelt jedes Token in eine lange Zahlenliste und berechnet, wie die Tokens zueinander in Beziehung stehen. Diese Zwischenergebnisse nennt man Key-Value-Cache. Genau diese Zahlen werden aufbewahrt, nicht der Text selbst. Kommt dieselbe Eingabe erneut, lädt das System die fertigen Zahlen und setzt die Rechnung dort fort, wo der neue Teil beginnt.

Wichtig ist die Reihenfolge. Der Cache funktioniert nur vom Anfang des Textes an, Zeichen für Zeichen identisch. Ändert man ein einziges Wort ganz vorne, ist der gesamte Rest wertlos und muss neu berechnet werden. Entwickler bauen ihre Eingaben deshalb bewusst so auf: unveränderliche Teile nach oben, die eigentliche Nutzerfrage ganz nach unten. Ein häufiger Fehler ist, ein aktuelles Datum oder eine Uhrzeit an den Anfang zu setzen – damit zerstört man den Cache bei jeder Anfrage.

Der Speicher ist außerdem nicht ewig gültig. Typisch sind fünf bis sechzig Minuten, danach wird der Platz freigegeben. Manche Anbieter verlangen für das Anlegen des Caches, den Cache Write, einen kleinen Aufschlag von etwa fünfundzwanzig Prozent. Das lohnt sich erst, wenn derselbe Textblock danach mehrfach abgerufen wird.

Wo die Zahl in Rechnungen und Berichten auftaucht

In den Abrechnungsübersichten von OpenAI, Anthropic oder Google stehen Cache Reads als eigener Posten neben normalen Eingabe- und Ausgabe-Tokens. Wer selbst eine Anwendung baut, sieht dort sofort, ob die Zwischenspeicherung greift. Eine niedrige Trefferquote ist meist ein Hinweis auf einen ungünstig aufgebauten Text.

Auch in Nachrichten über KI-Unternehmen spielt der Begriff eine Rolle. Wenn Anbieter melden, ihre Kosten pro Anfrage seien gesunken, steckt neben besserer Hardware oft schlicht bessere Zwischenspeicherung dahinter. Als Nutzer merkt man davon nur indirekt etwas: Werkzeuge, die ein langes Dokument oder ein ganzes Softwareprojekt dauerhaft im Blick behalten, sind überhaupt erst dadurch bezahlbar geworden.