Model Routing
Model Routing bedeutet, dass eine Software für jede Anfrage automatisch entscheidet, welches KI-Modell sie beantwortet. Leichte Fragen gehen an ein kleines, günstiges Modell, schwierige an ein großes, teures.
Anbieter von KI-Diensten haben meist nicht ein Programm, sondern mehrere. Einige davon sind klein und antworten in Bruchteilen einer Sekunde. Andere sind sehr groß, rechnen länger und kosten pro Antwort ein Vielfaches. Model Routing ist die Technik, die für jede einzelne Anfrage auswählt, welches dieser Programme sie bearbeitet. Eine Zwischenschicht liest also die Frage, schätzt ein, wie schwer sie ist, und leitet sie weiter. Der Nutzer merkt davon nichts: er tippt seine Frage in ein einziges Eingabefeld und bekommt eine Antwort.
Warum niemand jede Frage vom größten Modell beantworten lässt
Die Kosten einer KI-Antwort hängen stark davon ab, wie viel gerechnet wird. Zwischen dem kleinsten und dem größten Modell eines Anbieters liegt oft ein Faktor von zehn bis hundert im Preis. Gleichzeitig ist ein großer Teil der Anfragen banal: Übersetzungen, Zusammenfassungen, Rechtschreibkorrekturen, Begrüßungen. Für diese Aufgaben liefert ein kleines Modell praktisch dasselbe Ergebnis.
Ein Beispiel macht das greifbar. Angenommen, ein Dienst bearbeitet täglich zehn Millionen Anfragen. Wenn drei Viertel davon an ein zwanzigmal günstigeres Modell gehen, sinkt die Rechnung um einen sehr großen Betrag, ohne dass die Qualität sichtbar leidet. Genau deshalb ist Routing für die Wirtschaftlichkeit vieler KI-Produkte entscheidend. Es ist einer der Gründe, warum Chatbots inzwischen kostenlos angeboten werden können.
Neben Geld geht es auch um Zeit. Ein kleines Modell antwortet oft in unter einer Sekunde, ein großes braucht bei langen Antworten deutlich länger. Wer Wartezeit spart, hat zufriedenere Nutzer. Und wenn ein Anbieter gerade überlastet ist, kann das Routing Anfragen auf freie Kapazitäten umlenken.
Wie die Entscheidung über das Modell fällt
Die einfachste Variante sind feste Regeln. Enthält die Anfrage Programmcode, geht sie an ein Modell, das gut programmieren kann. Ist sie kürzer als zwanzig Wörter, übernimmt das kleine Modell. Solche Regeln schreiben Entwickler von Hand. Sie sind leicht nachvollziehbar, treffen aber viele Fälle falsch.
Verbreiteter ist deshalb ein gelernter Router. Das ist selbst ein kleines KI-Programm, das darauf trainiert wurde, die Schwierigkeit einer Frage einzuschätzen. Als Trainingsmaterial dienen alte Anfragen mit der Information, welches Modell sie zufriedenstellend gelöst hat. Der Router gibt dann eine Art Schwierigkeitsnote aus, und ab einer bestimmten Schwelle wird das große Modell genommen. Diese Schwelle kann der Anbieter verschieben, je nachdem ob ihm Qualität oder Kosten wichtiger sind.
Eine dritte Möglichkeit ist die Kaskade. Hier antwortet zuerst immer das kleine Modell. Danach prüft ein Bewertungsschritt, ob die Antwort brauchbar aussieht. Nur wenn sie das nicht ist, wird die Frage an das große Modell weitergegeben. Das spart Geld, verdoppelt aber im schlechten Fall die Wartezeit. Wichtig ist die Abgrenzung zu Mixture of Experts: dort wählt ein Router Bausteine innerhalb eines Modells aus, beim Model Routing sind es vollständig getrennte Modelle.
Router in Chatbots, Entwickler-Plattformen und News
Wer einen großen Chatbot nutzt, benutzt sehr wahrscheinlich schon einen Router. Statt einer langen Modellliste bieten die Anbieter zunehmend eine Automatik-Einstellung an. Das System entscheidet dann selbst, ob es schnell antwortet oder vorher länger nachdenkt. Genau dieses längere Nachdenken kostet Rechenzeit, weshalb es nicht bei jeder Frage passiert.
Für Firmen gibt es eigene Dienste, die Anfragen über die Modelle mehrerer Anbieter verteilen. Ein Unternehmen bindet dann nur eine Schnittstelle ein und bleibt trotzdem flexibel. Fällt ein Anbieter aus oder wird ein neues Modell günstiger, ändert man nur die Routing-Regeln. In Wirtschaftsnachrichten taucht das Thema auf, wenn Anbieter über sinkende Kosten pro Antwort sprechen.
Ein typischer Irrtum ist die Annahme, Routing sei unsichtbar und harmlos. Tatsächlich kann dieselbe Frage an verschiedenen Tagen unterschiedlich gut beantwortet werden, weil ein anderes Modell zuständig war. Nutzer beschweren sich dann, die KI sei plötzlich dümmer geworden. Oft steckt dahinter keine Änderung am Modell, sondern eine verschobene Routing-Schwelle.
