Mixture of Experts

Stell dir eine Redaktion mit hundert Mitarbeitern vor. Zu jeder Leserfrage recherchieren alle hundert gleichzeitig. Das wäre gründlich, aber absurd teuer. Sinnvoller ist es, pro Frage die zwei Leute zu fragen, die sich mit dem Thema auskennen. Genau nach diesem Prinzip ist ein Mixture-of-Experts-Modell gebaut: Es enthält viele Teilnetze, die man Experten nennt, und benutzt für jede Anfrage nur einige davon. Der Rest bleibt untätig und kostet in diesem Moment keine Rechenzeit.

Große Modelle, die trotzdem bezahlbar antworten

Die Fähigkeiten eines KI-Modells hängen stark von seiner Größe ab. Größe misst man in Parametern: Das sind die einstellbaren Zahlen im Modell, die beim Lernen ihren Wert bekommen. Mehr Parameter bedeuten meist bessere Antworten. Sie bedeuten aber auch mehr Rechenarbeit pro Frage, und die kostet Strom und Geld.

Genau diesen Zusammenhang bricht Mixture of Experts auf. Ein solches Modell kann insgesamt hunderte Milliarden Parameter haben, aktiviert pro Anfrage aber nur einen Bruchteil davon, oft weniger als ein Zehntel. Der Betreiber bekommt also die Qualität eines sehr großen Modells zum Rechenaufwand eines viel kleineren. Bei Diensten mit Millionen Nutzern pro Tag entscheidet dieser Unterschied darüber, ob sich ein Angebot überhaupt trägt.

Deshalb tauchen MoE-Modelle regelmäßig in Wirtschaftsmeldungen auf. Wenn ein Anbieter ankündigt, seine Preise pro Anfrage stark zu senken, steckt oft diese Bauweise dahinter. Bekannt wurde das Prinzip besonders durch chinesische Modelle wie DeepSeek, deren niedrige Trainings- und Betriebskosten Anfang 2025 die Aktienkurse von Chipherstellern bewegten.

Der Router entscheidet, wer rechnet

Herzstück eines MoE-Modells ist ein kleines Zusatznetz, der Router. Er schaut sich jedes Textstück an, das durch das Modell läuft, und wählt dafür die passenden Experten aus. Typisch sind zwei von vielleicht 64 oder 128 Experten. Deren Ergebnisse werden zusammengerechnet und weitergegeben.

Wichtig ist: Niemand legt die Fachgebiete von Hand fest. Der Router wird gemeinsam mit dem Modell trainiert, also mit denselben Beispieldaten. Welche Zuständigkeit ein Experte am Ende hat, ergibt sich von selbst. Oft passt sie nicht zu menschlichen Kategorien wie « Mathematik » oder « Französisch », sondern zu feineren Mustern in der Sprache.

Diese Bauweise hat einen Haken, der leicht übersehen wird. Das komplette Modell muss im Speicher der Grafikkarten liegen, auch die Experten, die gerade Pause haben. Gespart wird Rechenzeit, nicht Speicherplatz. Ein zweites Problem ist die Verteilung: Bevorzugt der Router einige Experten dauerhaft, sind diese überlastet und die anderen bleiben ungenutzt und untrainiert. Entwickler bauen deshalb Regeln ein, die eine gleichmäßige Auslastung belohnen.

Wo MoE-Modelle im Einsatz sind

Fast alle großen Chatbots und Programmierassistenten der letzten Jahre nutzen diese Architektur, ganz oder in Teilen. Bei der Benutzung merkt man davon nichts. Man tippt eine Frage ein und bekommt eine Antwort; welche Experten daran beteiligt waren, steht nirgends. Sichtbar wird der Effekt nur indirekt, etwa an kurzen Antwortzeiten und an Preisen, die pro Million verarbeiteter Wörter oft im Centbereich liegen.

In Modellnamen und technischen Datenblättern begegnet dir das Prinzip dagegen ganz direkt. Dort stehen Angaben wie « 8x7B » oder « 671B total, 37B aktiv ». Die erste Zahl nennt die Gesamtgröße, die zweite den Teil, der pro Anfrage wirklich rechnet. Wer beide Zahlen liest, erkennt sofort ein MoE-Modell.

Ein häufiger Irrtum ist die Vorstellung, man könne einzelne Experten wie Apps einzeln herunterladen oder austauschen. Das geht nicht, weil sie nur im Zusammenspiel mit dem Router und dem restlichen Modell sinnvolle Ergebnisse liefern. Mixture of Experts ist auch nicht dasselbe wie mehrere getrennte KI-Systeme, die abwechselnd angesprochen werden. Es bleibt ein einziges Modell, das intern seine Arbeit aufteilt.