Parameter (Modellgröße)
Parameter sind die vielen einzelnen Zahlen im Inneren eines KI-Modells, die beim Lernen eingestellt werden und das gesamte Wissen des Modells speichern. Ihre Anzahl gilt als gängiges Maß für die Größe eines Modells – man liest sie in Angaben wie „7 Milliarden Parameter“.
Ein KI-Modell besteht im Kern aus einer sehr langen Liste von Zahlen. Diese Zahlen heißen Parameter. Sie sind nicht von Menschen festgelegt, sondern werden automatisch eingestellt, während das Modell aus Beispieldaten lernt. Danach stehen sie fest. Alles, was das Modell kann, steckt in diesen Zahlen. Wie viele es sind, wird meist als Größenangabe genannt: ein Modell mit 7 Milliarden Parametern, eines mit 400 Milliarden. In Produktnamen taucht das oft als Kürzel auf, etwa „8B“ für acht Milliarden.
Warum die Zahl wichtig ist
Die Parameterzahl ist die einfachste Kennzahl, um Modelle zu vergleichen. Grob gilt: mehr Parameter bedeuten mehr Kapazität, also mehr Platz für Wissen und Muster. Deshalb wurden Modelle jahrelang vor allem größer gemacht.
Die Zahl entscheidet aber auch über Kosten und Technik. Jeder Parameter braucht Speicherplatz. Ein Modell mit 70 Milliarden Parametern passt nicht auf ein Notebook, sondern braucht teure Spezialchips im Rechenzentrum. Kleine Modelle mit wenigen Milliarden Parametern laufen dagegen direkt auf einem Handy.
Wichtig ist: Größer ist nicht automatisch besser. Ein kleineres Modell mit sehr guten Trainingsdaten schlägt regelmäßig ein größeres mit schlechten. Die Parameterzahl sagt etwas über den Aufwand, nicht direkt über die Qualität.
Wie Parameter entstehen und wirken
Man kann sich Parameter als Regler eines riesigen Mischpults vorstellen. Jeder Regler beeinflusst ein winziges Stück der Rechnung, die aus einer Eingabe eine Ausgabe macht. Am Anfang stehen alle Regler zufällig. Das Modell produziert dann Unsinn.
Im Training bekommt es Beispiele und soll etwa das nächste Wort eines Satzes vorhersagen. Liegt es daneben, werden alle Regler ein winziges Stück in die Richtung verschoben, die den Fehler kleiner macht. Das wiederholt sich milliardenfach. Nach Wochen auf tausenden Chips sind die Regler so eingestellt, dass sinnvolle Antworten herauskommen.
Kein einzelner Parameter steht für einen bestimmten Fakt. Das Wissen liegt verteilt über sehr viele Zahlen. Genau deshalb kann niemand einfach nachsehen, warum ein Modell eine bestimmte Antwort gegeben hat.
Zwei Details werden oft verwechselt. Erstens: Ein Modell kann viele Parameter haben und trotzdem schnell rechnen, wenn pro Anfrage nur ein Teil davon benutzt wird. Man liest dann von Gesamtparametern und aktiven Parametern. Zweitens: Wie genau jede Zahl gespeichert wird, ist eine eigene Frage. Speichert man sie gröber, schrumpft das Modell im Speicher, ohne dass Parameter wegfallen.
Wo der Begriff auftaucht
In Nachrichten über neue KI-Modelle ist die Parameterzahl fast immer die erste genannte Kennzahl. Bei frei herunterladbaren Modellen steht sie direkt im Namen, etwa bei den Varianten der Llama- oder Qwen-Reihen. Wer ein solches Modell selbst betreiben will, prüft an dieser Zahl zuerst, ob die eigene Hardware ausreicht.
Bei kommerziellen Diensten wie ChatGPT oder Gemini nennen die Anbieter die Zahl inzwischen meist nicht mehr. Sie gilt als Geschäftsgeheimnis, und die Firmen betonen lieber Testergebnisse. Kursieren trotzdem Schätzungen, sind das Gerüchte, keine bestätigten Angaben.
Auch in Diskussionen über Regulierung und Energiebedarf spielt die Zahl eine Rolle. Große Modelle bedeuten große Rechenzentren, hohe Stromrechnungen und viel Nachfrage nach KI-Chips. Wenn Börsenberichte über den Bedarf an solchen Chips schreiben, ist die wachsende Modellgröße einer der Gründe dahinter.