Routing-Logik
Routing-Logik ist die Regel, die entscheidet, welche Stelle eines KI-Systems eine Anfrage bearbeitet. Sie schickt einfache Fragen an kleine, günstige Modelle und schwierige an große, teure.
Wenn du eine Frage in ein KI-Programm eintippst, bearbeitet nicht immer dasselbe Programmteil deine Anfrage. Viele Anbieter halten mehrere Rechenprogramme gleichzeitig bereit: kleine und schnelle, große und langsame. Irgendetwas muss also entscheiden, wohin deine Frage geht. Diese Entscheidungsregel nennt man Routing-Logik. Das Wort kommt vom englischen « route », also Route oder Weg. Die Routing-Logik ist damit die Weiche im System, und sie arbeitet unsichtbar im Hintergrund.
Warum « Wer bearbeitet die Frage? » über die Kosten entscheidet
Große KI-Modelle sind im Betrieb teuer. Jede Antwort verbraucht Rechenzeit auf speziellen Grafikchips, und die kostet Geld. Ein sehr großes Modell kann pro Antwort leicht zehn- bis dreißigmal so viel kosten wie ein kleines. Bei Millionen von Anfragen pro Tag ist dieser Faktor entscheidend für die Gewinnrechnung eines Anbieters.
Gleichzeitig braucht die Mehrheit der Anfragen gar keine Spitzenleistung. « Wie viele Einwohner hat Hamburg? » kann ein kleines Modell zuverlässig beantworten. Eine mehrstufige Mathematikaufgabe oder eine Codeanalyse kann es nicht. Wer alles an das größte Modell schickt, verbrennt Geld. Wer alles an das kleinste schickt, liefert schlechte Antworten und verliert Nutzer.
Routing-Logik ist der Versuch, beide Fehler zu vermeiden. Sie ist deshalb ein häufiges Thema in Quartalsberichten und Analystenkommentaren zu KI-Firmen. Wenn ein Anbieter berichtet, die Kosten pro Antwort seien gesunken, steckt oft besseres Routing dahinter und nicht ein besseres Modell.
Wie die Weiche ihre Entscheidung trifft
Im einfachsten Fall arbeitet die Routing-Logik mit festen Regeln. Enthält die Anfrage ein Bild, geht sie an ein Modell, das Bilder verarbeiten kann. Ist sie sehr lang, geht sie an ein Modell mit großem Textgedächtnis. Solche Regeln schreiben Entwickler von Hand, und man kann sie leicht nachvollziehen.
Anspruchsvoller ist ein gelerntes Routing. Dabei schätzt ein kleines Zusatzmodell zuerst ab, wie schwierig die Anfrage ist. Es gibt eine Art Schwierigkeitsnote aus, und ab einem bestimmten Schwellenwert wandert die Anfrage zum großen Modell. Dieses Zusatzmodell wird mit Beispielen trainiert, bei denen bekannt ist, welches Modell die Aufgabe noch geschafft hat.
Wichtig ist die Abgrenzung zu einem verwandten Begriff. Bei Mixture of Experts, kurz MoE, wählt ein Router Bausteine innerhalb eines einzelnen Modells aus. Routing-Logik im hier gemeinten Sinn wählt zwischen ganzen Modellen oder ganzen Diensten. Die Idee ist ähnlich, die Ebene ist eine andere. Ein typischer Irrtum ist außerdem, Routing sei kostenlos: Die Schwierigkeitsschätzung braucht selbst Rechenzeit und darf die Antwort nicht merklich verzögern.
Routing in Chatbots, Suchmaschinen und Firmen-IT
Am deutlichsten siehst du Routing in modernen Chatbots. Viele bieten keinen Modellwähler mehr an, sondern entscheiden selbst, ob sie kurz antworten oder länger « nachdenken ». Dieses Nachdenken ist ein teurer Modus mit vielen Zwischenschritten. Ob er aktiviert wird, bestimmt die Routing-Logik. Anbieter bewerben das als Komfort, es senkt aber vor allem ihre Kosten.
Auch in Suchmaschinen und Online-Shops steckt Routing. Dort entscheidet das System, ob eine Anfrage eine klassische Trefferliste bekommt oder eine ausformulierte KI-Antwort. Und in Unternehmen leiten Support-Systeme Kundenanfragen entweder an eine automatische Antwort oder an einen Menschen weiter.
In Nachrichtentexten tauchen deshalb Formulierungen wie « intelligentes Routing » oder « automatische Modellauswahl » auf. Gemeint ist immer dasselbe Prinzip: eine Weiche zwischen Qualität und Kosten. Wenn Nutzer sich beklagen, ein Chatbot antworte plötzlich oberflächlicher als früher, liegt das oft nicht am Modell. Häufig wurde nur die Routing-Logik strenger eingestellt.
