Aktive Parameter bei Mixture-of-Experts
Aktive Parameter sind der Teil eines KI-Modells, der bei einer einzelnen Anfrage wirklich mitrechnet. Bei Modellen mit Expertenaufteilung ist diese Zahl viel kleiner als die Gesamtzahl der Parameter — und sie bestimmt, wie schnell und wie teuer das Modell antwortet.
Ein KI-Modell besteht aus vielen Milliarden Zahlen, die beim Lernen eingestellt wurden. Diese Zahlen heißen Parameter, und sie sind das eigentliche Wissen des Modells. Bei klassischen Modellen wird für jede Antwort mit allen diesen Zahlen gerechnet. Es gibt aber eine Bauweise, bei der das Modell in viele Teilnetze zerlegt ist, die man Experten nennt. Pro Anfrage werden nur wenige dieser Experten eingeschaltet, der Rest ruht. Die Zahlen, die dabei tatsächlich mitrechnen, nennt man aktive Parameter.
Warum zwei Zahlen im Datenblatt stehen
Bei solchen Modellen findet man in Ankündigungen immer zwei Angaben. Die erste ist die Gesamtzahl aller Parameter, etwa 400 Milliarden. Die zweite ist die Zahl der aktiven Parameter, etwa 20 Milliarden. Beide Zahlen beschreiben dasselbe Modell, aber sie beantworten verschiedene Fragen.
Die Gesamtzahl sagt, wie viel Wissen im Modell steckt und wie viel Speicher es braucht. Die aktive Zahl sagt, wie viel Rechenarbeit eine einzelne Antwort kostet. Für die Betriebskosten ist fast nur die zweite Zahl entscheidend. Ein Modell mit 400 Milliarden Parametern und 20 Milliarden aktiven rechnet ungefähr so schnell wie ein kleines Modell mit 20 Milliarden Parametern.
Genau darin liegt der Reiz dieser Bauweise. Man bekommt die Fähigkeiten eines sehr großen Modells zum Rechenpreis eines mittleren. Deshalb werben Anbieter gern mit der niedrigen aktiven Parameterzahl. Ein häufiger Irrtum ist, daraus zu schließen, das Modell laufe auch auf einem Laptop. Das ist falsch, denn der Speicherbedarf richtet sich nach der Gesamtzahl.
Wie die Auswahl der Experten zustande kommt
Für die Auswahl sorgt ein kleines Zusatznetz, der sogenannte Router. Es bewertet jedes Wort, das durch das Modell läuft, und schickt es an die passenden Experten. Typisch sind zwei bis acht aktive Experten aus einem Vorrat von dutzenden oder hunderten. Der Router lernt seine Zuordnung während des Trainings selbst, niemand teilt Fachgebiete von Hand ein.
Zu den aktiven Parametern zählen aber nicht nur die gewählten Experten. Manche Bauteile werden immer benutzt, etwa die Schichten, die Wörter in Zahlen umwandeln, und die Aufmerksamkeitsschichten, die Wortbezüge im Satz herstellen. Diese festen Anteile kommen zu den gewählten Experten hinzu. Deshalb ist die aktive Zahl nie einfach die Gesamtzahl geteilt durch die Zahl der Experten.
Ein Vergleich hilft: Eine große Bibliothek hat hunderttausend Bücher, für eine Hausaufgabe nimmst du drei vom Regal. Die drei Bücher sind die aktiven Parameter, das Gebäude ist die Gesamtzahl. Das Gebäude muss trotzdem geheizt werden, auch wenn du nur drei Bücher liest. Übersetzt heißt das: Der Grafikspeicher muss das ganze Modell fassen, obwohl nur ein Bruchteil arbeitet.
Wo die Zahl in Modellankündigungen auftaucht
Praktisch jede neue Modellfamilie großer Anbieter nutzt heute diese Bauweise. In den Ankündigungen liest man Formulierungen wie « 37 Milliarden aktive von 671 Milliarden Parametern ». Solche Angaben stammen etwa von den Mistral-, DeepSeek- oder Qwen-Modellen. Auch bei den großen kommerziellen Systemen gehen Fachleute von dieser Konstruktion aus, auch wenn die Hersteller die Zahlen nicht immer veröffentlichen.
Für Anleger und Beobachter der Branche ist die Zahl ein Kostenindikator. Sinkende aktive Parameterzahlen bei gleicher Leistung bedeuten billigere Antworten. Das erklärt, warum Preise pro Anfrage in den letzten Jahren stark gefallen sind. Wer Meldungen über neue Modelle liest, sollte deshalb immer prüfen, welche der beiden Zahlen genannt wird.
Verwechseln sollte man aktive Parameter nicht mit dem Kontextfenster, also der Textmenge, die ein Modell auf einmal überblickt. Das eine beschreibt die Bauweise des Modells, das andere seine Eingabe. Beide Zahlen stehen oft im selben Absatz einer Pressemitteilung. Sie haben aber nichts miteinander zu tun.