Modell-Routing

Anbieter von KI-Diensten haben meist nicht nur ein Programm im Angebot, sondern mehrere. Die großen davon liefern bessere Antworten, brauchen aber viel Rechenzeit und kosten entsprechend viel Geld. Die kleinen sind schnell und billig, scheitern aber an schwierigen Aufgaben. Modell-Routing ist die Technik, die jede einzelne Anfrage automatisch dem passenden Programm zuweist. Ein Zusatzprogramm, der Router, schaut sich die Frage kurz an und entscheidet: einfach oder schwierig. Der Nutzer merkt davon im Idealfall nichts und sieht nur eine Antwort.

Was Anbieter dadurch an Rechenkosten sparen

Jede Antwort eines KI-Dienstes kostet den Anbieter echtes Geld, weil dafür spezialisierte Computerchips rechnen müssen. Bei Millionen Nutzern pro Tag summiert sich das zu enormen Summen. Gleichzeitig sind die meisten Anfragen erstaunlich banal: Übersetzungen, Zusammenfassungen, Rechtschreibkorrekturen. Für solche Aufgaben ein Spitzenmodell zu benutzen, ist Verschwendung.

Genau hier setzt Routing an. Wenn ein Dienst 80 Prozent seiner Anfragen an ein kleines Modell abgibt, sinken die Kosten drastisch. Anbieter berichten je nach Anwendung von Einsparungen zwischen der Hälfte und neun Zehnteln. Für börsennotierte Technologiekonzerne ist das kein Detail, sondern ein direkter Effekt auf die Gewinnmarge.

Es geht aber nicht nur um Geld. Kleine Modelle antworten schneller, oft in unter einer Sekunde. Wer eine Suchleiste oder einen Kundenservice-Chat betreibt, gewinnt dadurch spürbar an Tempo. Routing verbessert also im besten Fall gleichzeitig Kosten und Wartezeit.

Wie der Router die Schwierigkeit einer Frage einschätzt

Die einfachste Variante arbeitet mit festen Regeln. Enthält die Anfrage Programmcode oder eine Matheaufgabe, geht sie an das große Modell. Ist sie kurz und harmlos, übernimmt das kleine. Solche Regeln schreibt ein Mensch von Hand, und sie sind leicht nachvollziehbar.

Aufwendigere Systeme benutzen ein eigenes, sehr kleines Lernprogramm als Router. Es wurde mit vielen Beispielanfragen trainiert, bei denen bekannt war, welches Modell sie noch richtig gelöst hat. Der Router schätzt daraus für eine neue Anfrage, ob das kleine Modell wohl reicht. Diese Schätzung muss extrem schnell gehen, sonst frisst der Router den Zeitgewinn wieder auf.

Eine dritte Variante ist die Eskalation. Zuerst antwortet immer das kleine Modell, dann prüft ein Kontrollschritt das Ergebnis. Wirkt die Antwort unsicher oder widersprüchlich, wird die Frage an das große Modell weitergegeben. Das ist zuverlässiger als eine Vorab-Schätzung, kostet im Zweifelsfall aber doppelt. Wichtig zur Abgrenzung: Modell-Routing verteilt Anfragen zwischen mehreren getrennten Modellen. Beim ähnlich klingenden Mixture of Experts sitzt der Router dagegen innerhalb eines einzigen Modells und wählt zwischen dessen Bausteinen.

Routing in Chatbots, Cloud-Diensten und Nachrichten

Wer einen bekannten Chatbot benutzt, hat sehr wahrscheinlich schon Routing erlebt. Mehrere Anbieter haben Auswahlmenüs für Modelle abgeschafft und stattdessen eine automatische Zuweisung eingebaut. Bei manchen Diensten kann man das an einem Hinweis wie « denkt nachdenklicher » oder an einer plötzlich längeren Wartezeit erkennen. Das System hat dann intern auf ein stärkeres Modell umgeschaltet.

In Unternehmen läuft Routing oft über eine Zwischenschicht, die mehrere Anbieter gleichzeitig anspricht. Dieselbe Software kann eine Anfrage an ein Modell von OpenAI, Google oder einem Open-Source-Projekt schicken. So macht sich die Firma weniger abhängig von einem einzigen Lieferanten und drückt gleichzeitig ihre Rechnung.

In Nachrichten taucht der Begriff meist auf, wenn Anbieter über sinkende Betriebskosten sprechen. Er taucht aber auch bei Beschwerden auf. Nutzer bemerken manchmal, dass Antworten ohne erkennbaren Grund schlechter werden, und vermuten dahinter ein stilles Umrouten auf ein billigeres Modell. Ein häufiger Irrtum ist übrigens, Routing für eine Sparmaßnahme auf Kosten der Qualität zu halten. Gut eingestellt ändert es nichts an der Antwortgüte, schlecht eingestellt sehr wohl.