Cache Hit Rate
Die Cache Hit Rate gibt an, wie oft ein Computer eine angeforderte Information bereits in seinem Zwischenspeicher liegen hat und sie nicht neu beschaffen muss. Je höher dieser Anteil, desto schneller und billiger arbeitet ein System – von der Webseite bis zum KI-Chatbot.
Computer legen Daten, die sie häufig brauchen, in einem schnellen Zwischenspeicher ab. Dieser Zwischenspeicher heißt Cache. Wird eine Information angefragt und liegt sie schon dort, spricht man von einem Treffer, englisch „hit“. Liegt sie nicht dort, muss das System sie mühsam neu beschaffen oder neu berechnen; das ist ein „miss“. Die Cache Hit Rate ist der Anteil der Treffer an allen Anfragen. Bei 900 Treffern und 100 Fehlgriffen liegt sie bei 90 Prozent.
Was 90 statt 50 Prozent Treffer bedeuten
Ein Treffer kostet fast nichts. Ein Fehlgriff kostet Zeit, Rechenleistung und oft Geld. Deshalb entscheidet die Trefferquote sehr direkt darüber, wie schnell sich ein Dienst anfühlt und wie teuer sein Betrieb ist. Sie ist eine der wenigen Kennzahlen, die Technik und Kosten gleichzeitig beschreibt.
Wichtig ist dabei: Die Wirkung ist nicht gleichmäßig verteilt. Der Sprung von 50 auf 90 Prozent halbiert die teuren Fehlgriffe nicht, er drittelt sie und mehr. Von 90 auf 95 Prozent halbiert er sie noch einmal. Betreiber großer Systeme kämpfen deshalb um einzelne Prozentpunkte, die von außen unbedeutend wirken.
Bei KI-Diensten ist der Effekt besonders sichtbar geworden. Mehrere Anbieter berechnen für zwischengespeicherte Teile einer Anfrage nur einen Bruchteil des normalen Preises, teils unter einem Zehntel. Wer seine Anfragen so baut, dass viele Treffer entstehen, zahlt für dieselbe Arbeit deutlich weniger.
Warum der Zwischenspeicher irgendwann voll ist
Ein Cache ist immer klein. Er ist schnell, weil er klein ist – sonst wäre er kein Cache, sondern eine normale Festplatte. Also muss ständig etwas hinausfliegen, wenn Neues hineinkommt. Die Regel dafür heißt Verdrängungsstrategie. Die verbreitetste wirft jeweils das hinaus, was am längsten nicht mehr gebraucht wurde.
Diese Regel funktioniert, weil Anfragen selten gleichverteilt sind. In der Praxis gilt oft grob: Ein kleiner Teil der Inhalte macht den Großteil der Zugriffe aus. Ein Nachrichtenportal hat wenige Artikel, die alle lesen, und tausende, die kaum jemand öffnet. Genau darum reicht ein kleiner Speicher für eine hohe Trefferquote.
Bei KI-Modellen funktioniert das Prinzip ähnlich, betrifft aber Text. Chatbots bekommen oft lange, immer gleiche Vorgaben mitgeschickt, etwa Verhaltensregeln. Diese Vorrede wird einmal verarbeitet und das Zwischenergebnis aufbewahrt. Beim nächsten Mal beginnt die Rechnung erst hinter dem bekannten Teil. Deshalb lohnt es sich, den unveränderlichen Text an den Anfang einer Anfrage zu stellen.
Von der Ladezeit bis zur Cloud-Rechnung
Am eigenen Rechner merkt man die Trefferquote beim zweiten Besuch einer Webseite. Sie erscheint fast sofort, weil Bilder und Schriftarten schon lokal liegen. Drückt man Strg und F5, erzwingt man absichtlich Fehlgriffe und lädt alles neu. Auch Streaming-Dienste arbeiten so: Beliebte Serien liegen auf Servern in der Nähe, nicht auf einem einzigen Rechner in Übersee.
In Unternehmen ist die Trefferquote eine Standardanzeige in Überwachungswerkzeugen. Fällt sie plötzlich ab, ist das ein Alarmsignal. Häufige Ursachen sind ein Neustart, nach dem der Speicher leer ist, oder ein Softwareupdate, das alte Einträge ungültig macht. Die Datenbank dahinter bekommt dann auf einen Schlag die volle Last ab.
Ein verbreiteter Irrtum lautet, eine hohe Trefferquote sei immer gut. Sie kann auch bedeuten, dass ein System veraltete Daten ausliefert. Ein Kontostand aus dem Zwischenspeicher ist schnell, aber möglicherweise falsch. Jede Cache-Strategie ist deshalb ein Kompromiss zwischen Tempo und Aktualität.