Token-Routing
Token-Routing bezeichnet die Entscheidung, welcher Teil eines großen KI-Modells ein einzelnes Textstück bearbeiten soll. Ein kleines Zusatznetz wählt dafür pro Textstück wenige spezialisierte Bausteine aus, statt das ganze Modell rechnen zu lassen.
Ein Sprachmodell zerlegt jeden Text zuerst in kleine Häppchen. Solche Häppchen heißen Token, meist ist ein Token ein kurzes Wort oder eine Silbe. Große Modelle bestehen aus vielen austauschbaren Rechenbausteinen, die parallel nebeneinander liegen. Beim Token-Routing entscheidet das Modell für jedes einzelne Häppchen neu, welche dieser Bausteine es bearbeiten dürfen. Alle übrigen Bausteine bleiben für dieses Häppchen untätig. Das spart Rechenzeit, denn es rechnet nie das ganze Modell mit.
Man kann sich das wie eine Poststelle in einem großen Unternehmen vorstellen. Jeder Brief wird kurz angesehen und an die passende Abteilung weitergeleitet. Niemand käme auf die Idee, jeden Brief an alle Abteilungen zu schicken. Genau diese Sortierarbeit übernimmt beim Modell ein kleines Zusatznetz, der Router.
Warum Modelle dadurch groß und trotzdem bezahlbar bleiben
Die Fähigkeiten eines Modells hängen stark davon ab, wie viele gelernte Zahlenwerte es besitzt. Diese Werte heißen Parameter, und mehr Parameter bedeuten meist bessere Antworten. Klassisch gilt aber: Mehr Parameter kosten bei jeder einzelnen Antwort mehr Rechenzeit. Token-Routing trennt diese beiden Größen voneinander. Das Modell kann sehr viele Parameter besitzen, benutzt pro Token aber nur einen Bruchteil davon.
Der Effekt ist erheblich. Manche Modelle mit mehreren hundert Milliarden Parametern aktivieren pro Token nur etwa dreißig Milliarden davon. Sie antworten dadurch so schnell wie ein deutlich kleineres Modell. Genau deshalb sind in den letzten Jahren fast alle sehr großen Modelle nach diesem Prinzip gebaut.
Für Anbieter ist das vor allem eine Kostenfrage. Jede Anfrage eines Nutzers kostet Strom und Rechenzeit auf teuren Grafikchips. Wer bei gleicher Qualität nur ein Fünftel der Rechnungen ausführt, senkt seine laufenden Kosten massiv. In Quartalsberichten und Modellankündigungen taucht deshalb oft die Zahl der aktiven Parameter auf, nicht nur die Gesamtzahl.
Wie der Router seine Entscheidung trifft
Der Router ist selbst ein sehr kleines neuronales Netz. Er bekommt die aktuelle Zahlendarstellung eines Tokens und gibt für jeden Baustein eine Punktzahl aus. Dann werden die ein oder zwei bestbewerteten Bausteine ausgewählt. Nur diese berechnen ihr Ergebnis, das anschließend gewichtet zusammengeführt wird.
Wichtig ist: Niemand legt von Hand fest, wofür ein Baustein zuständig ist. Der Router lernt seine Sortierregeln zusammen mit dem restlichen Modell während des Trainings. Welche Spezialisierung sich ergibt, ist am Ende oft schwer zu benennen. Manche Bausteine reagieren auf Programmcode, andere auf Satzzeichen oder auf eine bestimmte Sprache.
Ein bekanntes Problem ist die ungleiche Auslastung. Wenn der Router fast alles an dieselben zwei Bausteine schickt, bleiben die anderen ungenutzt. Deshalb baut man beim Training einen Zusatzanreiz ein, der eine gleichmäßige Verteilung belohnt. Außerdem hat jeder Baustein eine Kapazitätsgrenze. Ist sie erreicht, werden weitere Token an eine andere Stelle geschickt oder im Extremfall einfach durchgereicht.
Von Sprachmodellen bis zur Chip-Auslastung
Wer in Fachnachrichten den Ausdruck Mixture of Experts liest, liest damit indirekt über Token-Routing. Mixture of Experts, oft mit MoE abgekürzt, ist die Architektur mit den vielen Bausteinen. Das Token-Routing ist der Mechanismus, der sie überhaupt erst nutzbar macht. Modelle von Mistral, DeepSeek, Google und anderen Anbietern arbeiten nach diesem Prinzip.
Im Alltag merkt man davon direkt nichts. Man tippt eine Frage in einen Chatbot und bekommt eine Antwort. Spürbar wird es indirekt, etwa an sinkenden Preisen pro verarbeitetem Text oder an schnelleren Antworten bei gleichzeitig größeren Modellen.
Ein häufiger Irrtum ist die Vorstellung, Routing spare auch Speicherplatz. Das stimmt nicht. Alle Bausteine müssen gleichzeitig im Speicher der Grafikchips liegen, auch die gerade untätigen. Gespart wird nur Rechenzeit. Deshalb brauchen solche Modelle trotzdem sehr viel teure Hardware, und genau das ist ein Grund für die anhaltend hohe Nachfrage nach Rechenzentrumschips.