Cached Input
Cached Input bezeichnet den Teil einer Anfrage an ein KI-System, den der Anbieter aus einem Zwischenspeicher wiederverwendet, weil er in einer früheren Anfrage schon einmal genau so vorkam. Weil das Rechenarbeit spart, kosten solche wiederverwendeten Textteile bei vielen Anbietern nur einen Bruchteil des normalen Preises.
Wenn du einem KI-Textprogramm eine Frage schickst, liest das Programm zuerst deinen ganzen Text durch, Wort für Wort. Dieses Durchlesen kostet Rechenzeit, und Rechenzeit kostet Geld. Nun schicken viele Anwendungen bei jeder Anfrage denselben langen Textanfang mit: eine Anleitung, wie sich das Programm verhalten soll, oder ein Dokument, über das man sich unterhält. Dieser Anfang wird also immer wieder aufs Neue durchgelesen, obwohl sich nichts daran geändert hat. Cached Input ist die Lösung dafür: Der Anbieter merkt sich das Zwischenergebnis vom letzten Mal und benutzt es einfach wieder. Nur der wirklich neue Teil der Anfrage muss noch verarbeitet werden.
Warum wiederholte Textanfänge so viel Geld kosten
Anbieter von KI-Modellen rechnen nach Textmenge ab. Gezählt wird in Tokens, das sind Textbausteine von etwa vier Zeichen Länge. Ein Wort besteht meist aus einem oder zwei Tokens. Abgerechnet wird getrennt: einmal für den Text, den du hineinschickst, und einmal für den Text, den das Modell ausgibt.
Bei modernen Anwendungen ist der hineingeschickte Teil oft riesig. Ein Programmierhelfer im Editor schickt gern mehrere Dateien Quellcode mit, damit das Modell den Zusammenhang versteht. Ein Kundendienst-Chatbot schickt bei jeder Nachricht die komplette Gesprächsgeschichte plus seine Verhaltensregeln erneut mit. Nach zwanzig Nachrichten macht der immer gleiche Anfang leicht 90 Prozent der Anfrage aus. Ohne Zwischenspeicher zahlt man diesen Anfang zwanzigmal.
Deshalb werben Anbieter offensiv mit dem Rabatt. Bei OpenAI und Anthropic kosten wiederverwendete Tokens je nach Modell nur ein Viertel bis ein Zehntel des normalen Preises, bei Google ist es ähnlich. Für einen Dienst mit Millionen Anfragen pro Tag entscheidet dieser Faktor darüber, ob sich das Geschäft überhaupt rechnet. Nebenbei sinkt auch die Wartezeit, weil die erste Antwort schneller anläuft.
Was genau im Zwischenspeicher liegt
Gespeichert wird nicht der Text selbst, sondern das, was das Modell beim Lesen daraus errechnet hat. Man kann sich das wie die Notizen einer Person vorstellen, die ein Buch liest. Die Notizen sind aufwendig zu erstellen, aber wer sie hat, muss das Buch nicht noch einmal lesen. Diese Notizen heißen im Fachjargon KV-Cache, weil sie aus zwei Sorten von Zwischenwerten bestehen.
Damit der Trick funktioniert, muss der Anfang der neuen Anfrage Zeichen für Zeichen mit dem alten übereinstimmen. Das Modell arbeitet nämlich streng von vorne nach hinten. Sobald sich ein Wort ändert, sind alle Notizen ab dieser Stelle wertlos. Ein einziges eingefügtes Datum am Textanfang zerstört also den gesamten Rabatt.
Daraus folgt eine praktische Regel: Was gleich bleibt, gehört nach vorne, was sich ändert, nach hinten. Anleitungen und Dokumente also zuerst, die aktuelle Nutzerfrage zuletzt. Die Speicher halten außerdem nicht lange, oft nur wenige Minuten ohne neue Nutzung. Ein häufiger Irrtum ist, Caching würde das Modell etwas lernen lassen. Das ist falsch. Es ist reine Rechenersparnis, das Modell selbst bleibt unverändert.
Wo der Rabatt in Preislisten und Rechnungen auftaucht
Am direktesten begegnet man dem Begriff in den Preistabellen der Anbieter. Dort steht neben Input und Output eine dritte Spalte, meist « cached input » oder « cache read » genannt. Wer über eine Programmierschnittstelle mit einem Modell arbeitet, sieht in der Antwort außerdem, wie viele Tokens aus dem Speicher kamen. Diese Zahl ist für Entwickler eine wichtige Kennziffer.
Als Nutzer merkst du den Effekt indirekt. Programmierwerkzeuge wie GitHub Copilot oder Cursor und Chatbots mit langen Unterhaltungen wären ohne diesen Mechanismus deutlich teurer. Auch Firmen, die ein KI-System auf ihr eigenes Handbuch ansetzen, verlassen sich darauf. Das Handbuch steht dann fest am Anfang jeder Anfrage und liegt praktisch dauerhaft im Speicher.
In Finanznachrichten tauchen Cache-Preise auf, wenn es um die Betriebskosten von KI-Diensten geht. Sie gehören zu einer Gruppe von Techniken, die nicht die Fähigkeiten der Modelle verbessern, sondern deren Betrieb verbilligen. Abzugrenzen ist Cached Input von einem klassischen Antwort-Cache. Dieser gibt bei einer identischen Frage die alte Antwort einfach erneut aus. Cached Input dagegen spart nur Arbeit beim Lesen, die Antwort wird jedes Mal neu berechnet.
