Cache-Rabatt
Ein Cache-Rabatt ist ein Preisnachlass, den Anbieter von KI-Diensten geben, wenn ein Teil der Eingabe schon einmal geschickt wurde und zwischengespeichert ist. Weil der Computer diesen Teil nicht neu verarbeiten muss, kostet er oft nur ein Zehntel des normalen Preises.
Wer eine KI wie ChatGPT nicht über die Webseite, sondern direkt aus einem eigenen Programm heraus nutzt, bezahlt pro Anfrage. Abgerechnet wird nach der Menge an Text: alles, was man hinschickt, und alles, was zurückkommt. Nun schicken Programme oft immer wieder denselben Textblock mit, zum Beispiel eine lange Anleitung, wie sich das Programm verhalten soll. Anbieter speichern diesen wiederkehrenden Anfang deshalb zwischen, statt ihn jedes Mal komplett neu durchzurechnen. Der Cache-Rabatt ist der Preisnachlass, den man dafür bekommt. Der Begriff Cache bedeutet dabei schlicht Zwischenspeicher: ein Ort, an dem etwas bereitliegt, das man gleich wieder braucht.
Was der Rabatt an der Rechnung ändert
Die Ersparnis ist kein Kleingeld. Je nach Anbieter kostet zwischengespeicherter Eingabetext nur zehn bis fünfzig Prozent des normalen Preises. Bei manchen Diensten sind es sogar nur fünf Prozent. Wer täglich Millionen Anfragen stellt, spart damit sehr große Beträge.
Besonders stark wirkt der Effekt bei Anwendungen mit langem, festem Vorspann. Ein Kundenservice-Bot bekommt vielleicht 8.000 Wörter Firmenregeln und Produktinfos mitgeliefert, dazu eine einzige kurze Kundenfrage. Der feste Teil macht dann über 95 Prozent der Eingabe aus. Genau dieser Teil ist es, der günstiger wird.
Neben dem Geld spart der Cache auch Zeit. Die erste Antwort kommt spürbar schneller, weil der Rechner den bekannten Teil nicht noch einmal analysieren muss. Bei sehr langen Vorspännen kann sich die Wartezeit halbieren. Für Entwickler ist der Cache-Rabatt deshalb zugleich eine Preis- und eine Tempofrage.
Warum nur der Anfang zählt
Ein Sprachmodell verarbeitet Text nicht als Ganzes, sondern Stück für Stück von vorne nach hinten. Dabei entstehen Zwischenergebnisse, eine Art Notizen zu jedem bisherigen Textstück. Diese Notizen hängen immer nur vom Text davor ab, nie vom Text danach. Genau deshalb lassen sie sich wiederverwenden: Beginnen zwei Anfragen identisch, sind auch die Notizen zu diesem Anfang identisch.
Der Cache speichert also die Zwischenergebnisse für ein Präfix, das heißt für den gemeinsamen Anfang mehrerer Anfragen. Bei der nächsten Anfrage prüft der Anbieter, wie weit die Übereinstimmung reicht. Bis zu diesem Punkt lädt er die gespeicherten Notizen. Erst ab dem ersten abweichenden Zeichen wird wirklich gerechnet.
Daraus folgt eine wichtige Regel für die Praxis: Feste Inhalte gehören nach vorne, veränderliche nach hinten. Steht das aktuelle Datum ganz am Anfang, ändert sich der Text jeden Tag und der Cache greift nie. Ein häufiger Irrtum ist außerdem, der Cache halte ewig. Tatsächlich wird er meist nach wenigen Minuten gelöscht, wenn niemand ihn nutzt.
Wo Cache-Rabatte in Preislisten auftauchen
In den Preistabellen von OpenAI, Anthropic oder Google findet man heute drei statt zwei Zahlen. Neben dem Preis für Eingabe und Ausgabe steht eine eigene Zeile für zwischengespeicherte Eingabe. Manchmal heißt sie cached input, manchmal Cache-Read. Wer Angebote vergleicht, sollte diese Zeile mitlesen, sonst rechnet er zu teuer.
Bei manchen Anbietern ist das Speichern selbst kostenpflichtig. Das erste Schreiben in den Cache kostet dann etwas mehr als eine normale Anfrage, jede Wiederverwendung deutlich weniger. Das lohnt sich erst ab einer gewissen Zahl von Wiederholungen. Andere Anbieter aktivieren das Caching automatisch und verlangen für das Schreiben nichts.
In Nachrichten begegnet der Begriff meist im Zusammenhang mit fallenden KI-Kosten. Wenn Firmen berichten, der Betrieb ihrer Assistenten sei um 80 Prozent günstiger geworden, steckt oft ein Cache-Rabatt dahinter. Zu verwechseln ist er nicht mit dem Batch-Rabatt: Der gilt für Anfragen, deren Antwort man Stunden später abholt. Beide senken den Preis, aber über völlig verschiedene Wege.
