Aktivierte Parameterzahl
Die aktivierte Parameterzahl gibt an, wie viele der eingestellten Werte eines KI-Modells bei einer einzelnen Anfrage tatsächlich mitrechnen. Sie kann deutlich kleiner sein als die Gesamtzahl und entscheidet mit darüber, wie schnell und wie teuer ein Modell im Betrieb ist.
Ein KI-Sprachmodell besteht im Kern aus sehr vielen Zahlen, den Parametern. Diese Zahlen wurden beim Lernen aus Beispieltexten eingestellt und bestimmen, welche Antwort das Modell gibt. Man liest oft, ein Modell habe 700 Milliarden Parameter. Das ist die Gesamtzahl aller gespeicherten Werte. Die aktivierte Parameterzahl sagt etwas anderes: Sie gibt an, wie viele dieser Werte bei einer einzelnen Frage wirklich benutzt werden. Bei manchen modernen Modellen sind das nur wenige Prozent des Gesamtbestands.
Warum die Gesamtzahl allein irreführend ist
Lange galt die Gesamtzahl der Parameter als Maß für die Stärke eines Modells. Mehr Parameter bedeuteten mehr Wissen, aber auch längere Rechenzeit und höhere Kosten. Diese Kopplung ist inzwischen gelöst. Ein Modell kann riesig sein und trotzdem schnell antworten, wenn pro Anfrage nur ein Bruchteil mitrechnet.
Für die Kosten ist deshalb vor allem die aktivierte Zahl wichtig. Sie bestimmt, wie viele Rechenschritte für eine Antwort nötig sind. Wer einen Dienst mit Millionen Anfragen pro Tag betreibt, spürt das direkt auf der Stromrechnung. Zwei Modelle mit gleicher Gesamtgröße können sich in den Betriebskosten um das Zehnfache unterscheiden.
Ein verbreiteter Irrtum ist, dass man mit wenigen aktivierten Parametern auch Speicherplatz spart. Das stimmt nicht. Alle Parameter müssen im Speicher der Grafikkarten liegen, auch die gerade untätigen. Gespart wird Rechenzeit, nicht Platz. Deshalb nennen Anbieter in ihren technischen Berichten meist beide Zahlen nebeneinander.
Wie ein Modell Teile seiner selbst abschaltet
Der wichtigste Mechanismus dahinter heißt Mixture of Experts. Das Modell ist dabei in viele parallele Bausteine aufgeteilt, die Experten genannt werden. Ein kleines Zusatznetz, der Router, wählt für jedes Wort nur zwei oder vier dieser Bausteine aus. Alle anderen bleiben bei diesem Rechenschritt stumm.
Ein Beispiel macht das greifbar. Ein Modell besitze 256 Experten und benutze pro Wort acht davon. Dann liegen zwar alle 256 im Speicher, aber nur rund drei Prozent rechnen mit. Zusammen mit den Teilen, die immer aktiv sind, ergibt sich daraus die aktivierte Parameterzahl. Bei bekannten offenen Modellen liegt sie oft bei 20 bis 40 Milliarden, während die Gesamtzahl mehrere hundert Milliarden beträgt.
Der Vergleich mit einer großen Bibliothek passt hier gut. Das gesamte Gebäude muss gebaut und geheizt werden, auch wenn du nur drei Bücher ausleihst. Der Aufwand des Lesens hängt aber nur an diesen drei Büchern. Die aktivierte Parameterzahl entspricht den ausgeliehenen Büchern, die Gesamtzahl dem ganzen Bestand.
Die Zahl in Modellankündigungen und Preislisten
Wenn ein Unternehmen ein neues Sprachmodell vorstellt, steht die Angabe meist in einer Schreibweise wie 671B total, 37B aktiv. Das B steht für Milliarden. Solche Angaben findest du in Fachartikeln, in Modellkarten auf Plattformen wie Hugging Face und in Berichten über chinesische und amerikanische Modellfamilien.
Für Anleger und Beobachter der Branche ist die Zahl ein Hinweis auf die Rechenkosten eines Anbieters. Sinkende aktivierte Parameterzahlen bei gleichbleibender Qualität bedeuten, dass ein Modell günstiger betrieben werden kann. Genau damit begründen Anbieter niedrigere Preise pro Anfrage. Auch Diskussionen darüber, ob ein Modell auf wenigen Grafikkarten laufen kann, drehen sich um dieses Verhältnis.
Im Alltag begegnet dir die Zahl indirekt. Ein Chatbot, der in Sekundenbruchteilen antwortet, nutzt sehr wahrscheinlich ein Modell mit wenigen aktivierten Parametern. Bei kleineren Modellen ohne Expertenaufteilung sind Gesamtzahl und aktivierte Zahl identisch. Dann verschwindet der Unterschied, und man spricht wieder einfach von der Parameterzahl.