Prompt Caching

Wer mit einem KI-Textsystem wie ChatGPT arbeitet, schickt ihm einen Text als Aufgabe. Dieser Text heißt Prompt, auf Deutsch etwa Eingabe oder Anweisung. Das System muss den ganzen Prompt erst durchrechnen, bevor es das erste Wort seiner Antwort schreibt. In der Praxis ist der Anfang dieses Textes oft jedes Mal identisch: dieselben Regeln für das Verhalten, dasselbe Handbuch, dasselbe Gesprächsprotokoll von vorher. Prompt Caching heißt: dieser gleichbleibende Anfang wird nur einmal durchgerechnet, und das Zwischenergebnis wird für die nächsten Anfragen aufbewahrt. Beim zweiten Mal überspringt das System die Arbeit und setzt direkt hinter dem bekannten Teil fort.

Was das an Zeit und Geld spart

Der Betrieb eines KI-Modells wird pro Textstück abgerechnet. Diese Textstücke heißen Tokens; ein Token ist ungefähr ein kurzes Wort oder eine Silbe. Ein Unternehmen, das einen Kundenservice-Bot betreibt, schickt vor jeder Kundenfrage oft mehrere tausend Tokens Anweisungen mit. Bei einer Million Anfragen im Monat wird derselbe Text also eine Million Mal bezahlt, obwohl er sich nie ändert.

Genau hier greift das Caching. Die großen Anbieter berechnen für einen wiederverwendeten Prompt-Anfang nur einen Bruchteil des normalen Preises, oft rund ein Zehntel. Bei langen, festen Anweisungen sinken die Kosten für diesen Teil damit spürbar. Das ist der Grund, warum in Firmenberichten und Quartalszahlen von Cloud-Anbietern regelmäßig davon die Rede ist.

Der zweite Gewinn ist Geschwindigkeit. Die Zeit bis zum ersten Wort der Antwort hängt stark davon ab, wie viel Text vorher verarbeitet werden muss. Fällt dieser Schritt weg, antwortet das System merkbar schneller. Bei sehr langen Vorgaben kann sich die Wartezeit halbieren oder stärker verkürzen.

Warum nur der Anfang wiederverwendbar ist

Beim Verarbeiten eines Prompts rechnet das Modell für jedes Token Zwischenwerte aus. Diese Werte hängen immer von allem ab, was davor steht — nie von dem, was danach kommt. Deshalb bleiben die Zwischenwerte für die ersten 2.000 Tokens gleich, egal welche Frage danach folgt. Genau diese Werte werden zwischengespeichert.

Aus dieser Eigenschaft folgt eine harte Regel: der Cache greift nur, wenn der Text von Zeichen eins an exakt übereinstimmt. Ein zusätzliches Leerzeichen am Anfang, ein eingefügtes Datum, ein geänderter Kundenname — schon ist der Treffer verloren, und alles muss neu gerechnet werden. Wer Prompt Caching nutzen will, baut seine Anfragen daher bewusst: erst alles Feste, dann alles Wechselnde.

Ein häufiger Irrtum ist, dass hier fertige Antworten gespeichert würden. Das ist nicht der Fall. Gespeichert werden nur Zwischenschritte der Verarbeitung, nicht das Ergebnis. Dieselbe Frage kann mit Caching also weiterhin eine andere Antwort liefern. Außerdem hält so ein Cache nicht lange: typisch sind wenige Minuten, gegen Aufpreis auch Stunden. Speicherplatz auf den Grafikchips ist knapp und teuer.

Wo die Technik im Hintergrund arbeitet

Als Nutzer einer Chat-App bekommt man Prompt Caching nie zu sehen, profitiert aber davon. In einem langen Chatverlauf wird bei jeder neuen Nachricht das gesamte bisherige Gespräch erneut mitgeschickt. Ohne Caching würde jede Antwort langsamer und teurer als die vorige. Mit Caching bleibt der Verlauf im Zwischenspeicher, und nur die neue Nachricht kommt hinzu.

Besonders deutlich zeigt sich der Effekt bei Programmierassistenten. Diese Werkzeuge schicken oft mehrere Dateien Programmcode als Kontext mit, teils zehntausende Tokens. Der Code ändert sich zwischen zwei Fragen kaum, die Frage dagegen schon. Ohne Caching wären solche Assistenten kaum bezahlbar.

In den Preislisten von OpenAI, Anthropic und Google findet man deshalb eigene Zeilen für zwischengespeicherte Eingaben, meist als „cached input“ bezeichnet. Für Entwickler ist das eine Stellschraube wie die Wahl des Modells: Wer seine Prompts geschickt ordnet, zahlt für dieselbe Leistung deutlich weniger.