Routing-Plattform
Eine Routing-Plattform ist eine Zwischenschicht, die jede Anfrage automatisch an das passende KI-Modell weiterleitet. Einfache Fragen gehen an ein günstiges Modell, schwierige an ein teures — der Nutzer merkt davon nichts.
Wer heute Programme mit künstlicher Intelligenz baut, hat die Wahl zwischen dutzenden Anbietern. Manche Programme, die Texte schreiben oder Fragen beantworten, sind schnell und billig. Andere sind langsam und teuer, dafür aber deutlich zuverlässiger bei schwierigen Aufgaben. Eine Routing-Plattform sitzt zwischen dem Nutzer und diesen Programmen und entscheidet für jede einzelne Anfrage, wer sie bearbeitet. Man schickt seine Frage also nicht direkt an einen Anbieter, sondern an die Plattform, und die wählt aus. Der Name kommt vom englischen „to route“, also weiterleiten — ähnlich wie eine Telefonzentrale Anrufe an die richtige Abteilung verteilt.
Was Betreiber damit an Kosten sparen
Der wichtigste Grund für Routing ist Geld. Große Sprachmodelle rechnen pro Anfrage ab, und die Preisunterschiede zwischen einem kleinen und einem großen Modell liegen oft beim Faktor zehn oder mehr. Gleichzeitig sind die meisten Anfragen in echten Anwendungen banal: eine Begrüßung, eine Umformulierung, eine kurze Zusammenfassung. Dafür das stärkste verfügbare Modell zu benutzen, ist Verschwendung.
Ein zweiter Grund ist Unabhängigkeit vom Anbieter. Wer sein Produkt fest an ein einziges Modell koppelt, hat ein Problem, wenn dessen Preise steigen oder der Dienst ausfällt. Über eine Routing-Plattform lässt sich ein Modell austauschen, ohne die eigene Software umzuschreiben. Fällt ein Anbieter aus, wandern die Anfragen automatisch zum nächsten.
Dazu kommen rechtliche Anforderungen. Ein deutsches Unternehmen darf bestimmte Kundendaten nur in Rechenzentren innerhalb Europas verarbeiten lassen. Eine Routing-Plattform kann solche Anfragen gezielt an europäische Modelle schicken und alle anderen an das günstigste weltweit.
Wie die Plattform das passende Modell auswählt
Die einfachste Variante sind feste Regeln, die ein Entwickler von Hand einträgt. Zum Beispiel: alles unter 200 Wörtern geht an das kleine Modell, alles mit Programmcode an ein spezialisiertes. Solche Regeln sind leicht nachvollziehbar, treffen aber oft daneben, weil kurze Fragen nicht automatisch leichte Fragen sind.
Anspruchsvollere Plattformen setzen deshalb ein eigenes kleines Modell davor. Es schätzt für jede Anfrage, wie schwierig sie ist, und leitet entsprechend weiter. Trainiert wird dieses Modell mit Beispielanfragen, bei denen man weiß, welches Zielmodell noch eine brauchbare Antwort geliefert hat. Wichtig ist, dass diese Vorentscheidung schnell und billig bleibt, sonst frisst sie die Ersparnis wieder auf.
Ein häufiger Irrtum: Routing macht Antworten nicht besser, sondern im besten Fall gleich gut bei geringeren Kosten. Wählt der Router falsch, bekommt der Nutzer eine schwächere Antwort als nötig. Deshalb messen Betreiber laufend mit, wie oft eine Anfrage nachträglich an ein stärkeres Modell weitergegeben werden musste.
Routing-Plattformen im Markt und im eigenen Chatfenster
Bekannte Anbieter sind OpenRouter, Not Diamond oder Martian, dazu die Routing-Funktionen großer Cloud-Anbieter wie Amazon oder Microsoft. Sie bieten eine einzige Schnittstelle für hunderte Modelle an und rechnen zentral ab. Für kleine Firmen ist das oft billiger als Verträge mit mehreren Anbietern einzeln.
Auch in Produkten, die man selbst benutzt, steckt inzwischen Routing. Wenn ein Chatbot bei einer schweren Frage plötzlich länger nachdenkt und ausführlicher antwortet, wurde intern häufig auf ein stärkeres Modell umgeschaltet. Die Anbieter nennen das nicht immer so, aber das Prinzip ist dasselbe.
In Wirtschaftsmeldungen taucht der Begriff meist im Zusammenhang mit Kosten auf. Wenn ein Unternehmen berichtet, es habe seine KI-Ausgaben halbiert, ohne die Qualität zu senken, steckt oft eine Routing-Plattform dahinter. Für Anleger ist das Thema interessant, weil es die Preismacht einzelner Modellanbieter schwächt: Wer jederzeit umschalten kann, ist weniger erpressbar.
