MoE-Architektur
Die MoE-Architektur ist ein Bauplan für große KI-Modelle, bei dem nicht das ganze Modell rechnet, sondern pro Anfrage nur wenige spezialisierte Teilbereiche. Dadurch kann ein sehr großes Modell so schnell antworten wie ein deutlich kleineres.
Ein KI-Programm wie ein Chatbot besteht im Inneren aus riesigen Zahlentabellen. Wenn du eine Frage stellst, wird deine Eingabe durch diese Tabellen gerechnet, und am Ende entsteht die Antwort. Bei vielen Modellen ist an dieser Rechnung jede einzelne Zahl beteiligt. Das kostet viel Rechenzeit und damit viel Geld. Die MoE-Architektur macht es anders: Sie teilt die Tabellen in viele Untergruppen auf, die man Experten nennt. Für jede Anfrage werden nur ein paar dieser Gruppen benutzt, der Rest bleibt untätig.
Warum große Modelle ohne MoE zu teuer würden
Die Fähigkeiten eines Modells hängen stark davon ab, wie viele einstellbare Zahlen es besitzt. Diese Zahlen heißen Parameter, und mehr Parameter bedeuten meistens bessere Antworten. Genau hier liegt das Problem: Wenn bei jeder Anfrage alle Parameter mitrechnen müssen, steigen die Kosten im gleichen Tempo wie die Modellgröße. Ein Modell mit zehnmal so vielen Parametern wäre dann auch etwa zehnmal so teuer im Betrieb.
Die MoE-Architektur bricht diese Kopplung auf. Ein Modell kann insgesamt 500 Milliarden Parameter besitzen, aber pro Wort nur 30 Milliarden davon aktivieren. Fachleute unterscheiden deshalb zwischen Gesamtparametern und aktiven Parametern. Für die Antwortgeschwindigkeit zählen nur die aktiven, für das gespeicherte Wissen eher die Gesamtzahl.
Das ist der Grund, warum viele der stärksten Modelle der letzten Jahre nach diesem Prinzip gebaut sind. Anbieter können damit sehr große Modelle betreiben, ohne dass jede einzelne Antwort unbezahlbar wird. Auch der Betrieb auf weniger Grafikkarten wird realistischer, weil weniger Rechenschritte nötig sind.
Der Router und die Verteilung auf Experten
Die zentrale Rolle spielt ein kleines Zusatznetz, der sogenannte Router. Er schaut sich jedes Wortstück an und entscheidet, welche Experten dafür zuständig sind. Typisch werden zwei von vielleicht 64 oder 128 Experten ausgewählt. Deren Ergebnisse werden anschließend zusammengerechnet und weitergereicht.
Wichtig ist: Niemand legt die Fachgebiete von Hand fest. Der Router wird beim Training zusammen mit dem restlichen Modell mitgelernt. Was ein Experte am Ende gut kann, ergibt sich von selbst aus den Trainingsdaten. Oft entsprechen die entstandenen Spezialisierungen nicht menschlichen Kategorien wie Mathematik oder Französisch, sondern sind für uns kaum durchschaubar.
Ein häufiger Irrtum ist, dass MoE auch Speicherplatz spart. Das stimmt nicht. Alle Experten müssen geladen bleiben, denn beim nächsten Wort kann ein anderer gefragt sein. Gespart wird Rechenzeit, nicht Speicher. Ein weiteres Problem ist die Lastverteilung: Wenn der Router bestimmte Experten bevorzugt, sind einige überlastet und andere lernen fast nichts. Deshalb baut man beim Training zusätzliche Regeln ein, die eine gleichmäßige Auslastung belohnen.
MoE in aktuellen Modellen und Meldungen
Der Begriff taucht vor allem in technischen Beschreibungen neuer Sprachmodelle auf. Wenn eine Firma schreibt, ihr Modell habe « 671 Milliarden Parameter, davon 37 Milliarden aktiv », dann ist es ein MoE-Modell. Bekannt wurde das Prinzip einer breiteren Öffentlichkeit durch Modelle des französischen Anbieters Mistral und durch die chinesischen DeepSeek-Modelle, die damit sehr niedrige Betriebskosten erreichten.
Als Nutzer merkst du von der Architektur direkt nichts. Sie wirkt sich indirekt aus: über den Preis pro Anfrage, über die Antwortgeschwindigkeit und darüber, welche Modelle überhaupt kostenlos angeboten werden können. Auch an der Börse ist das Thema relevant, weil MoE-Modelle den Bedarf an teurer Rechenleistung verändern.