Routing

Wenn du einer KI eine Frage stellst, gibt es meist mehr als einen Weg, sie zu beantworten. Manche Fragen sind simpel: « Wie spät ist es in Tokio? » Andere verlangen langes Nachdenken, etwa eine Beweisführung in Mathematik. Routing ist die automatische Entscheidung, welcher Weg genommen wird. Ein kleines Zusatzprogramm schaut sich die Anfrage kurz an und schickt sie an die passende Stelle weiter. Der Name kommt vom englischen Wort für « Wegwahl », wie bei einem Paket, das in der Sortieranlage auf das richtige Band gelegt wird.

Warum sich der Umweg über einen Verteiler rechnet

Große KI-Modelle sind teuer im Betrieb. Jede Antwort kostet Rechenzeit auf spezialisierten Chips, und diese Rechenzeit kostet Geld und Strom. Wer ein System mit Millionen Nutzern betreibt, merkt den Unterschied sofort. Wenn ein starkes Modell erklärt, wie viele Beine eine Spinne hat, ist das Verschwendung. Ein deutlich kleineres Modell kann diese Frage genauso gut beantworten, oft zehnmal billiger.

Der zweite Grund ist Geschwindigkeit. Große Modelle brauchen länger, bis der erste Buchstabe erscheint. Bei einer Rückfrage im Chat fällt eine Verzögerung von mehreren Sekunden unangenehm auf. Routing sorgt dafür, dass einfache Anfragen fast sofort beantwortet werden. Nur bei schwierigen Aufgaben nimmt man die Wartezeit bewusst in Kauf.

Drittens ermöglicht Routing Spezialisierung. Ein Modell kann besonders gut programmieren, ein anderes besonders gut Texte zusammenfassen. Statt ein einziges Allroundmodell zu bauen, kombiniert man mehrere und lässt den Verteiler wählen. Anbieter sparen so Kosten, ohne dass die Qualität sichtbar leidet.

Wie der Verteiler seine Entscheidung trifft

Der Verteiler ist selbst ein kleines Programm, oft ein winziges KI-Modell. Es liest die Anfrage und schätzt zwei Dinge ein: Wie schwer ist die Aufgabe? Und welches Modell löst sie voraussichtlich gut genug? Diese Einschätzung dauert Millisekunden und kostet fast nichts. Erst danach beginnt die eigentliche Arbeit.

Trainiert wird ein solcher Verteiler mit Beispielen. Man lässt viele Anfragen von allen verfügbaren Modellen bearbeiten und vergleicht die Ergebnisse. Daraus lernt der Verteiler Muster: Bei Fragen dieser Art reicht das kleine Modell, bei jener Art nicht. Manche Systeme arbeiten auch mit festen Regeln, etwa nach Textlänge oder erkannter Programmiersprache.

Es gibt Routing auf zwei Ebenen, die man leicht verwechselt. Beim einen wird zwischen mehreren eigenständigen Modellen gewählt. Beim anderen entscheidet ein Router innerhalb eines einzigen Modells, welche seiner Bausteine rechnen. Diese zweite Form heißt Mixture of Experts und ist heute in fast allen großen Modellen eingebaut. Gemeinsam ist beiden die Grundidee: nicht alles anschalten, sondern nur das Nötige.

Routing in Chatbots und in der Preisliste

Wenn du in einem Chatbot einen Schalter wie « schnell » oder « gründlich nachdenken » siehst, ist das Routing von Hand. Bei vielen Anbietern läuft dieselbe Entscheidung inzwischen automatisch im Hintergrund. Du merkst sie nur daran, dass manche Antworten sofort erscheinen und andere erst nach einer Denkpause. Genau diese Automatik war ein Streitpunkt, als Anbieter sie ohne Ankündigung einführten.

In Wirtschaftsnachrichten taucht Routing auf, wenn es um Kosten geht. Firmen, die KI in ihre Produkte einbauen, zahlen pro Anfrage. Ein gutes Routing kann diese Rechnung halbieren, ohne dass Kunden einen Unterschied bemerken. Deshalb gibt es eigene Anbieter, die nichts anderes verkaufen als kluge Verteilung auf fremde Modelle.

Ein typischer Irrtum: Routing macht ein System nicht klüger. Es verteilt nur vorhandene Fähigkeiten geschickter. Schätzt der Verteiler eine Aufgabe falsch ein, landet eine knifflige Frage beim schwachen Modell. Das Ergebnis ist dann schlechter, als es hätte sein müssen. Gutes Routing misst man deshalb immer an beidem: gesparten Kosten und gehaltener Qualität.