Routing-Policy
Eine Routing-Policy ist die Regel, die entscheidet, welches KI-Modell oder welcher Baustein eine einzelne Anfrage bearbeitet. Sie sorgt dafür, dass einfache Fragen an billige Modelle gehen und schwierige an teure.
Wer heute einen KI-Dienst betreibt, hat meist nicht ein Programm im Hintergrund, sondern mehrere. Manche sind klein, schnell und günstig. Andere sind groß, langsam und rechnen für jede Antwort viel Geld weg. Jetzt kommt eine Frage von einem Nutzer herein: Wer soll sie beantworten? Die Routing-Policy ist genau die Regel, die diese Entscheidung trifft. Man kann sie sich wie die Anmeldung in einer großen Arztpraxis vorstellen: Dort schickt jemand die Patienten weiter, je nachdem, was sie brauchen.
Was eine gute Verteilregel an Kosten spart
Der wichtigste Grund ist Geld. Die Rechenkosten großer Sprachmodelle unterscheiden sich um Faktoren, nicht um Prozente. Ein kleines Modell kann pro Anfrage zehn- bis dreißigmal günstiger sein als das größte verfügbare. Ein großer Teil der Anfragen ist aber banal: Übersetzungen, Zusammenfassungen, Begrüßungen, Wiederholungen. Wenn ein Anbieter diese Anfragen an das teuerste Modell schickt, verbrennt er Geld ohne besseres Ergebnis.
Der zweite Grund ist Geschwindigkeit. Nutzer brechen ab, wenn sie zu lange auf eine Antwort warten. Kleine Modelle antworten oft in unter einer Sekunde, sehr große brauchen deutlich länger. Eine Routing-Policy kann deshalb auch nach Wartezeit entscheiden und nicht nur nach Kosten.
Der dritte Grund wird gern unterschätzt: Kontrolle. In einer Routing-Policy lassen sich Vorgaben festschreiben, die nichts mit Technik zu tun haben. Zum Beispiel, dass Anfragen mit Gesundheitsdaten nur auf Servern innerhalb Europas verarbeitet werden. Oder dass ein bestimmter Kunde immer das stärkste Modell bekommt, weil er dafür zahlt.
Woran der Router eine schwere Frage erkennt
Vor dem eigentlichen Modell sitzt ein kleines Programm, oft Router genannt. Es liest die Anfrage und schätzt ein, wie schwierig sie ist. Diese Schätzung kann auf einfachen Regeln beruhen: Länge des Textes, enthaltene Stichwörter, angehängte Dateien. Sie kann aber auch von einem eigenen, sehr kleinen Modell kommen, das genau auf diese Einschätzung trainiert wurde. Wichtig ist, dass der Router selbst kaum Rechenzeit kostet, sonst frisst er die Ersparnis auf.
Die Policy ist dann die Sammlung der Entscheidungen, die auf diese Einschätzung folgen. Typisch ist eine Kette von Bedingungen: einfache Anfrage zum kleinen Modell, komplexe zum großen, Programmieraufgaben zu einem darauf spezialisierten Modell. Manche Systeme arbeiten mit einem zweiten Versuch. Das kleine Modell antwortet zuerst, und nur wenn seine Antwort als unsicher gilt, geht die Frage noch einmal an das große Modell.
Ein häufiger Irrtum ist, Routing-Policy mit dem Router in einem Mixture-of-Experts-Modell zu verwechseln. Dort verteilt ein Netz die Arbeit auf Bausteine innerhalb eines einzigen Modells, unsichtbar für den Nutzer und ohne Regeln, die ein Mensch aufgeschrieben hat. Eine Routing-Policy dagegen wird bewusst konfiguriert und entscheidet zwischen ganzen Modellen oder Rechenzentren.
Routing im Chatfenster und in Anbieter-Meldungen
Am deutlichsten merkt man Routing in Chatprogrammen, die kein Modell mehr zur Auswahl anbieten. Statt einer Liste von Namen gibt es nur noch ein Eingabefeld. Im Hintergrund entscheidet die Routing-Policy, ob deine Frage schnell abgehandelt oder ausführlich durchdacht wird. Wenn dieselbe Frage an zwei Tagen unterschiedlich gut beantwortet wird, kann das an einer geänderten Policy liegen.
In Firmen taucht der Begriff bei Werkzeugen auf, die mehrere Anbieter gleichzeitig anbinden. Solche Zwischenschichten heißen Gateway oder Proxy. Dort schreiben Entwickler die Policy als Konfigurationsdatei, testen sie und messen anschließend Kosten pro tausend Anfragen. Auch Ausfälle werden darüber abgefangen: Fällt ein Anbieter aus, leitet die Policy automatisch auf einen zweiten um.
In Nachrichten über KI-Unternehmen lohnt es sich, auf Formulierungen wie “dynamische Modellauswahl” oder “automatisches Routing” zu achten. Sie sind oft ein Hinweis darauf, dass ein Anbieter seine Betriebskosten senken will. Für Anleger ist das relevant, weil Rechenkosten bei KI-Diensten einen großen Teil der Ausgaben ausmachen.
