Router-LLM
Ein Router-LLM ist ein System, das jede Nutzeranfrage automatisch an das passende Sprachmodell weiterleitet. Einfache Fragen gehen an ein kleines, billiges Modell, schwierige an ein großes, teures — das senkt die Kosten, ohne die Antwortqualität spürbar zu verschlechtern.
Große KI-Sprachprogramme wie ChatGPT gibt es in verschiedenen Größen. Kleine Varianten antworten schnell und kosten im Betrieb wenig, tun sich aber bei kniffligen Aufgaben schwer. Große Varianten können mehr, brauchen dafür aber deutlich mehr Rechenzeit und Geld. Ein Router-LLM ist die Vermittlungsstelle dazwischen. Es schaut sich jede eingehende Frage kurz an und entscheidet, welches Programm sie beantworten soll. Der Nutzer merkt davon nichts: Er tippt seine Frage in ein einziges Eingabefeld und bekommt eine Antwort zurück.
Warum sich das Sortieren von Anfragen rechnet
Der Betrieb eines KI-Dienstes kostet bei jeder einzelnen Antwort Geld. Fachleute nennen diese Nutzungsphase Inferenz, im Unterschied zum einmaligen Training des Modells. Bei Millionen Anfragen pro Tag summieren sich Bruchteile von Cents zu erheblichen Beträgen. Der Unterschied zwischen einem kleinen und einem großen Modell liegt dabei oft beim Zehn- bis Fünfzigfachen.
Der entscheidende Punkt: Die meisten Anfragen sind gar nicht schwer. « Wie schreibt man Rhythmus? » oder « Fasse diese Mail in zwei Sätzen zusammen » schafft auch ein kleines Modell fehlerfrei. Nur ein Bruchteil der Fragen verlangt wirklich tiefes Nachdenken, etwa ein Mathebeweis oder eine längere Programmieraufgabe. Wer alles ans größte Modell schickt, bezahlt für Leistung, die in den meisten Fällen niemand braucht.
Studien und Anbieterangaben nennen Einsparungen von oft 50 bis 80 Prozent bei fast gleichbleibender Qualität. Neben dem Geld spielt auch Tempo eine Rolle. Kleine Modelle antworten schneller, was den Dienst für den Nutzer angenehmer macht. Und weniger Rechenzeit bedeutet auch weniger Stromverbrauch.
Wie die Vermittlungsstelle entscheidet
Die Entscheidung muss extrem schnell fallen, sonst frisst sie den Zeitgewinn wieder auf. Deshalb ist der Router selbst meist ein kleines, spezialisiertes Programm. Es liest die Frage und schätzt ein, wie schwierig sie ist. Manche Router arbeiten mit einem einfachen Klassifikator, also einem Sortierprogramm, das Anfragen in Kategorien wie « leicht », « mittel » und « schwer » einteilt.
Trainiert wird ein solcher Router mit Beispielen. Man schickt zehntausende echte Fragen an alle verfügbaren Modelle und vergleicht die Antworten. Daraus lernt der Router ein Muster: Bei welcher Art von Frage liefert das kleine Modell dasselbe Ergebnis wie das große? Genau diese Fragen leitet er später nach unten weiter.
Wichtig ist die Abgrenzung zu einem verwandten Begriff. Bei Mixture of Experts sitzt der Router innerhalb eines einzigen Modells und verteilt Arbeit an dessen interne Bausteine. Ein Router-LLM dagegen steht davor und wählt zwischen mehreren komplett eigenständigen Modellen. Ein typischer Irrtum ist außerdem, den Router für unfehlbar zu halten. Schätzt er eine Frage falsch ein, landet sie beim zu schwachen Modell und die Antwort wird schlechter.
Router-LLMs in Chatbots und Cloud-Diensten
Wer heute einen KI-Chatbot benutzt, hat mit hoher Wahrscheinlichkeit schon einen Router erlebt. OpenAI hat mit GPT-5 einen automatischen Wechsel zwischen einem schnellen Antwortmodus und einem längeren Denkmodus eingeführt. Auch andere Anbieter setzen darauf, dass der Dienst selbst entscheidet, wie viel Aufwand eine Frage wert ist. Sichtbar wird das manchmal an einem Hinweis wie « denkt nach », der bei manchen Fragen erscheint und bei anderen nicht.
Für Unternehmen, die KI in eigene Produkte einbauen, sind Router inzwischen Standardwerkzeuge. Es gibt fertige Dienste, die Anfragen zwischen Modellen verschiedener Anbieter verteilen. Ein Kundenservice-Chat schickt Standardfragen dann an ein günstiges Modell und leitet Beschwerden an ein starkes weiter.
In Finanz- und Techmeldungen taucht der Begriff meist im Zusammenhang mit Kosten auf. Wenn ein Anbieter berichtet, er habe seine Betriebskosten pro Anfrage halbiert, steckt oft Routing dahinter. Kritik gibt es allerdings auch: Nutzer wissen häufig nicht, welches Modell gerade geantwortet hat. Bei zahlungspflichtigen Abos führt das zu der Frage, ob man wirklich die Leistung bekommt, für die man bezahlt.
