Modellgröße
Die Modellgröße gibt an, aus wie vielen einstellbaren Zahlenwerten ein KI-System besteht — üblicherweise gemessen in Milliarden Parametern. Sie sagt etwas über Rechenbedarf und Speicherhunger eines Modells aus, aber nur eingeschränkt über seine tatsächliche Qualität.
Ein KI-System wie ein Chatbot besteht im Kern aus einer riesigen Tabelle von Zahlen. Diese Zahlen heißen Parameter. Sie werden nicht von Menschen eingetragen, sondern beim Lernen aus Beispieltexten automatisch eingestellt. Die Modellgröße ist schlicht die Antwort auf die Frage: Wie viele solcher Zahlen sind es? Übliche Angaben lauten „7B“ oder „70B“, wobei B für Milliarde steht. Ein Modell mit 70B hat also rund 70 Milliarden einstellbare Zahlen im Inneren.
Was die Parameterzahl über ein Modell verrät
Die Modellgröße bestimmt in erster Linie, was der Betrieb kostet. Jede einzelne Zahl muss im Speicher liegen, während das Modell arbeitet. Als grobe Faustregel braucht ein Modell etwa zwei Gigabyte Speicher pro Milliarde Parameter. Ein 7B-Modell passt damit auf eine gute Grafikkarte im heimischen PC. Ein 400B-Modell braucht ein ganzes Rechenzentrum mit vielen Spezialchips.
Lange galt: größer ist besser. Tatsächlich zeigten Experimente ab etwa 2020, dass Modelle mit mehr Parametern zuverlässig bessere Ergebnisse lieferten. Diese Beobachtung trägt den Namen Skalierungsgesetze. Sie erklärt, warum sich Unternehmen jahrelang mit immer größeren Modellen überboten haben.
Inzwischen ist das Bild komplizierter. Ein kleines Modell, das mit sehr vielen und sehr sauberen Texten trainiert wurde, schlägt oft ein größeres mit schlechterem Lernmaterial. Die Modellgröße allein ist deshalb kein Qualitätssiegel. Sie ist eher wie der Hubraum eines Motors: aussagekräftig, aber nicht das ganze Auto.
Wo die Parameter im Modell sitzen
Ein Sprachmodell ist in Schichten aufgebaut, die nacheinander durchlaufen werden. Jede Schicht enthält große Zahlentabellen, durch die der Text hindurchgerechnet wird. Die Modellgröße ergibt sich daraus, wie viele Schichten es gibt und wie breit jede einzelne ist. Entwickler stellen beides vor dem Training fest ein. Anschließend lässt sich die Größe nicht mehr ändern.
Eine wichtige Unterscheidung betrifft die aktiven Parameter. Manche Modelle nutzen bei jeder Anfrage nur einen Bruchteil ihrer Zahlen. Dieses Prinzip heißt Mixture of Experts: ein kleines Zusatznetz wählt aus, welche Teile des Modells überhaupt rechnen. Ein solches Modell kann 600 Milliarden Parameter besitzen, davon aber nur 30 Milliarden pro Antwort aktivieren. Es rechnet dann so schnell wie ein kleines Modell, braucht aber weiterhin den Speicherplatz eines großen.
Zusätzlich lässt sich die Größe nachträglich verkleinern. Beim sogenannten Quantisieren speichert man jede Zahl gröber, etwa mit vier statt sechzehn Stellen. Das Modell schrumpft auf ein Viertel und verliert nur wenig Genauigkeit. Ein anderes Verfahren, die Destillation, lässt ein kleines Modell die Antworten eines großen nachahmen.
Wie Größenangaben in Produktnamen auftauchen
Modellnamen enthalten die Größe fast immer direkt. Beispiele sind „Llama 3 8B“ oder „Mistral 7B“. Wer solche Namen liest, kann sofort abschätzen, wo das Modell laufen kann. Alles unterhalb von etwa 10B läuft auf guter Privathardware, teils sogar auf neueren Smartphones.
Bei kommerziellen Systemen wie ChatGPT oder Gemini halten die Anbieter die Modellgröße geheim. Sie gilt als Geschäftsgeheimnis, weil sie Rückschlüsse auf Kosten und Bauweise erlaubt. Berichte in Wirtschaftsmedien enthalten deshalb oft nur geschätzte Zahlen.
In Nachrichten begegnet der Begriff meist im Zusammenhang mit Geld und Energie. Wenn von Milliardeninvestitionen in Rechenzentren die Rede ist, geht es fast immer um den Betrieb sehr großer Modelle. Gleichzeitig gibt es einen Gegentrend zu kleinen Modellen, die direkt auf dem Gerät laufen. Sie sind billiger, schneller und schicken keine Daten an fremde Server.