KV-Router
Ein KV-Router ist eine Verteilstelle, die Anfragen an ein KI-Sprachmodell gezielt an den Server schickt, auf dem schon passende Zwischenergebnisse aus dem vorherigen Gespräch liegen. Das spart Rechenzeit, weil der Server denselben Text nicht noch einmal verarbeiten muss.
Große KI-Textprogramme wie Chatbots laufen nicht auf einem einzelnen Rechner, sondern auf vielen Servern gleichzeitig. Irgendjemand muss entscheiden, welcher Server eine neu eintreffende Frage bearbeitet. Diese Verteilstelle heißt allgemein Load Balancer, zu Deutsch Lastverteiler. Ein KV-Router ist eine besonders schlaue Variante davon. Er schaut nicht nur, welcher Server gerade wenig zu tun hat, sondern auch, welcher Server sich an den bisherigen Gesprächsverlauf schon « erinnert ». Denn das KI-Programm legt zu jedem Text, den es gelesen hat, Zwischenergebnisse im Arbeitsspeicher ab. Wer die passenden Zwischenergebnisse bereits hat, ist mit der Antwort viel schneller fertig.
Warum ein zweiter Server dieselbe Arbeit doppelt macht
Wenn du in einem Chat die zehnte Nachricht schreibst, liest das Modell nicht nur diese Nachricht. Es verarbeitet den gesamten bisherigen Verlauf noch einmal mit, denn nur so ergibt deine Frage überhaupt Sinn. Diese Vorverarbeitung des gesamten Textes heißt Prefill und ist der teuerste Teil einer Anfrage. Bei einem langen Gespräch oder einem hochgeladenen PDF können das zehntausende Wörter sein.
Genau deshalb speichert jeder Server seine Zwischenergebnisse zwischen. Landet deine nächste Nachricht aber zufällig auf einem anderen Server, ist dieser Speicher nutzlos. Der neue Server beginnt bei null und rechnet den kompletten Verlauf noch einmal durch. Für dich bedeutet das eine spürbar längere Wartezeit bis zum ersten Wort der Antwort. Für den Betreiber bedeutet es Kosten für Rechenleistung, die er sich hätte sparen können.
Bei Millionen Nutzern summiert sich das enorm. Anbieter berichten, dass ein cache-bewusstes Routing die Wartezeit bis zum ersten Wort um ein Vielfaches senken kann. Auch die Preise geben das wieder: Mehrere Anbieter berechnen für wiederverwendete Textteile nur einen Bruchteil des normalen Preises. Ein KV-Router ist also kein technisches Detail, sondern direkt eine Frage von Geld und Geschwindigkeit.
Wie der Router den passenden Server findet
Der Name kommt vom KV-Cache. KV steht für Key und Value, zwei Sorten von Zahlenwerten, die das Modell beim Lesen eines Textes erzeugt und aufhebt. Man kann sie sich als Notizen vorstellen, die das Modell zu jedem bereits gelesenen Wort anlegt. Diese Notizen liegen im Speicher der Grafikkarte, auf der das Modell läuft. Sie sind an genau diesen einen Server gebunden.
Der Router selbst rechnet nichts am Modell. Er berechnet stattdessen eine Art Fingerabdruck vom Anfang deines Textes, meist blockweise für je einige Dutzend Wörter. Dann vergleicht er diese Fingerabdrücke mit einer Liste, in der steht, welcher Server welche Blöcke gerade vorrätig hat. Der Server mit der längsten Übereinstimmung am Textanfang bekommt den Zuschlag.
Wichtig ist die Einschränkung auf den Textanfang. Ein Server kann nur dort weitermachen, wo der Text bis zu einer bestimmten Stelle wortwörtlich identisch ist. Ändert sich ein Wort in der Mitte, ist alles danach wertlos. Deshalb setzen Entwickler feste Anweisungen und Dokumente immer an den Anfang der Anfrage und die wechselnde Nutzerfrage ans Ende. Der Router muss außerdem abwägen: Ist der ideale Server bereits überlastet, ist ein leerer Server trotz Neuberechnung manchmal die schnellere Wahl.
In welchen Produkten das steckt
Direkt sichtbar ist ein KV-Router nie. Du merkst ihn nur daran, dass eine Antwort in einem langen Chat überraschend schnell startet. Eingebaut ist er in fast jeder größeren Bedienoberfläche für KI-Modelle, etwa in den Servern vLLM und SGLang oder in NVIDIAs Software Dynamo. Auch Kubernetes, das verbreitete Verwaltungssystem für Server, hat inzwischen eigene Bausteine für cache-bewusstes Routing.
In Fachnachrichten taucht der Begriff meist im Umfeld von Prompt Caching und Inferenzkosten auf. Wenn ein Anbieter mit günstigeren Preisen für wiederholte Eingaben wirbt, steckt technisch fast immer ein solcher Router dahinter. Für Unternehmen, die eigene KI-Systeme betreiben, gehört er zum Standardwerkzeug. Ein häufiger Irrtum ist, den KV-Router mit dem Router aus einem Mixture-of-Experts-Modell zu verwechseln. Jener wählt Bausteine innerhalb des Modells aus, der KV-Router dagegen wählt einen ganzen Server im Rechenzentrum.