Parameter

Ein KI-Modell besteht im Kern aus einer riesigen Menge von Zahlen. Diese Zahlen heißen Parameter. Am Anfang sind sie zufällig gesetzt und das Modell kann nichts. Dann bekommt es viele Beispiele vorgelegt, etwa Millionen Textseiten, und verändert die Zahlen so lange, bis seine Vorhersagen meistens stimmen. Dieser Vorgang heißt Training. Was das Modell am Ende « weiß », steckt ausschließlich in diesen eingestellten Zahlen. Wenn eine Meldung sagt, ein Modell habe 70 Milliarden Parameter, dann ist genau das gemeint: 70 Milliarden solcher Stellwerte.

Warum die Parameterzahl in jeder Modellankündigung steht

Die Parameterzahl ist die einfachste Kennzahl, mit der man Modelle vergleichen kann. Sie sagt grob, wie viel ein Modell überhaupt speichern kann. Ein Modell mit drei Milliarden Parametern kann weniger Zusammenhänge behalten als eines mit 400 Milliarden. Deshalb nennen Hersteller die Zahl fast immer im Namen, etwa bei « Llama 3 70B » – das B steht für Billion, also Milliarde.

Die Zahl entscheidet außerdem über die Kosten. Jeder Parameter belegt Speicher und muss beim Rechnen berücksichtigt werden. Als grobe Regel braucht ein Modell etwa zwei Gigabyte Speicher pro Milliarde Parameter. Ein Modell mit sieben Milliarden Parametern läuft damit noch auf einem guten Laptop. Ein Modell mit 400 Milliarden Parametern braucht ein Rechenzentrum mit spezialisierten Grafikkarten.

Ein verbreiteter Irrtum ist, mehr Parameter bedeuteten automatisch bessere Antworten. Das gilt nur bei ähnlicher Datenqualität. Ein kleineres Modell, das mit sorgfältig ausgewählten Texten trainiert wurde, schlägt regelmäßig ein größeres mit schlechteren Daten. Seit einigen Jahren geht der Trend deshalb zu kompakteren Modellen, die trotzdem stark sind.

Wie aus Zufallszahlen Wissen wird

Man kann sich ein Modell wie ein Mischpult mit Milliarden Drehknöpfen vorstellen. Jeder Knopf bestimmt, wie stark ein bestimmtes Signal im Inneren weitergegeben wird. Der Parameter ist die Position eines solchen Knopfes. Beim Training dreht ein Rechenverfahren automatisch an allen Knöpfen gleichzeitig.

Der Ablauf wiederholt sich millionenfach und immer gleich. Das Modell soll das nächste Wort eines Satzes vorhersagen. Es macht einen Vorschlag, und dieser wird mit dem echten nächsten Wort verglichen. Aus dem Unterschied berechnet das System, in welche Richtung jeder einzelne Parameter verschoben werden muss, damit der Fehler kleiner wird. Jede einzelne Korrektur ist winzig, aber die Summe ergibt am Ende ein Modell, das flüssig antwortet.

Wichtig ist die Abgrenzung zu zwei anderen Zahlenarten. Parameter lernt das Modell selbst. Einstellungen wie die Lernschrittweite oder die Modellgröße legen Menschen vorher fest, sie heißen Hyperparameter. Und die Menge der Trainingstexte wird in Tokens gemessen, also in Wortbausteinen – das ist eine Angabe über die Daten, nicht über das Modell.

Parameter in Produkten und Schlagzeilen

Die Zahl begegnet dir direkt in Modellnamen. « Mistral 7B », « Qwen 32B » oder « DeepSeek 671B » verraten die Größe schon im Titel. Wer ein Modell auf dem eigenen Rechner ausprobieren will, wählt danach aus: Modelle mit drei bis acht Milliarden Parametern laufen lokal, größere nicht.

In Wirtschaftsnachrichten steckt hinter der Parameterzahl vor allem Geld. Große Modelle zu trainieren kostet dreistellige Millionenbeträge, hauptsächlich für Chips und Strom. Deshalb tauchen Parameterzahlen oft im gleichen Absatz auf wie Investitionen von Nvidia, Microsoft oder OpenAI.

Auffällig ist, dass die größten Anbieter die genaue Zahl inzwischen oft geheim halten. Bei GPT-4 oder Gemini gibt es nur Schätzungen. Bei modernen Modellen ist die Angabe zudem weniger eindeutig als früher, weil manche Systeme pro Anfrage nur einen Teil ihrer Parameter benutzen. Man liest dann zwei Zahlen: die Gesamtzahl und die Zahl der tatsächlich aktiven Parameter.