Sparse Mixture of Experts
Sparse Mixture of Experts ist ein Bauprinzip für große KI-Modelle: Das Modell besteht aus vielen austauschbaren Teilnetzen, von denen pro Anfrage nur wenige rechnen. So kann ein Modell sehr groß sein und trotzdem schnell und günstig antworten.
Große Sprachprogramme wie ChatGPT bestehen aus Millionen kleiner Rechenbausteine. Normalerweise ist bei jeder Frage jeder einzelne dieser Bausteine an der Rechnung beteiligt. Das kostet viel Strom und Zeit. Sparse Mixture of Experts geht einen anderen Weg. Das Programm wird in viele gleichartige Teilnetze aufgeteilt, die man Experten nennt. Für jede Anfrage werden nur ein oder zwei dieser Experten eingeschaltet, der Rest bleibt untätig. « Sparse » ist das englische Wort für « spärlich » und meint genau das: Es rechnet nur ein kleiner Teil mit.
Warum große Modelle ohne dieses Prinzip zu teuer wären
Die Fähigkeiten eines KI-Modells hängen stark von seiner Größe ab. Gemessen wird sie in Parametern, also in einstellbaren Zahlen im Inneren des Modells. Mehr Parameter bedeuten in der Regel bessere Antworten. Sie bedeuten aber auch mehr Rechenarbeit pro Frage. Genau an dieser Stelle stoßen Betreiber an eine wirtschaftliche Grenze.
Sparse Mixture of Experts löst diese Kopplung auf. Ein Modell kann eine Billion Parameter besitzen, von denen pro Anfrage nur dreißig Milliarden benutzt werden. Es verhält sich im Betrieb also wie ein kleines Modell, im Wissen aber wie ein großes. Bekannte Modelle wie Mixtral, DeepSeek-V3 oder mutmaßlich GPT-4 nutzen dieses Prinzip. Ohne es wären Chatbots für Millionen Nutzer kaum bezahlbar.
Ein Nebeneffekt betrifft das Training. Auch beim Lernen muss nur ein Bruchteil des Modells arbeiten. Firmen bekommen für dasselbe Budget also ein deutlich größeres Modell. Das erklärt, warum das Verfahren seit etwa 2023 in fast jedem neuen Spitzenmodell auftaucht.
Der Router entscheidet, wer rechnen darf
Die Auswahl der Experten übernimmt ein kleines Zusatznetz, der Router. Er bekommt jedes Textstück einzeln vorgelegt und vergibt Punkte an alle Experten. Die zwei bestbewerteten dürfen rechnen, ihre Ergebnisse werden zusammengemischt. Die anderen bleiben in dieser Runde außen vor. Das passiert für jedes Wort neu, nicht einmal pro Frage.
Niemand legt vorher fest, wofür ein Experte zuständig ist. Der Router lernt seine Entscheidungen zusammen mit dem restlichen Modell. Am Ende spezialisieren sich Experten manchmal auf Programmcode, manchmal auf Zahlen oder Satzzeichen. Oft lässt sich aber gar nicht sagen, welchem Muster ein Experte folgt. Die Bezeichnung « Experte » ist deshalb eher ein Bild als eine genaue Beschreibung.
Praktisch tückisch ist das Gleichgewicht. Ohne Gegenmaßnahmen schickt der Router fast alles an dieselben zwei Experten, weil diese anfangs zufällig etwas besser waren. Die übrigen lernen dann nie etwas dazu. Entwickler fügen darum eine Strafregel ins Training ein, die ungleiche Verteilung bestraft. Ein zweiter Haken bleibt: Das komplette Modell muss im Speicher der Grafikkarten liegen, auch die untätigen Experten. Gespart wird Rechenzeit, nicht Platz.
Sparse MoE in Modellnamen und Zahlenangaben
Der Begriff erscheint selten in der Werbung, aber häufig in technischen Berichten zu neuen Modellen. Ein typisches Erkennungszeichen sind zwei Parameterzahlen nebeneinander. Bei Mixtral 8x7B stehen die Ziffern für acht Experten mit je sieben Milliarden Parametern. Wenn eine Meldung von « aktiven Parametern » spricht, steckt fast immer Sparse Mixture of Experts dahinter.
Auch als Nutzer merkt man Folgen davon, ohne den Namen zu hören. Antworten kommen schneller, obwohl die Modelle rechnerisch immer größer werden. Und die Preise pro Anfrage sind bei vielen Anbietern binnen zwei Jahren stark gefallen. Ein guter Teil dieses Preisrutsches geht auf dieses Bauprinzip zurück.
Ein häufiger Irrtum ist, Sparse Mixture of Experts sei eine Gruppe getrennter Programme, die sich beraten. Das ist nicht der Fall. Es handelt sich um ein einziges Modell, dessen Innenleben lediglich in Abschnitte zerlegt ist. Wer mehrere eigenständige KI-Systeme zusammenarbeiten lässt, spricht dagegen von Agenten oder von einem Ensemble.