Parameterzahl

Ein Programm für künstliche Intelligenz besteht im Kern aus einer sehr langen Liste von Zahlen. Diese Zahlen heißen Parameter. Sie werden nicht von Menschen eingetippt, sondern beim Lernen aus Beispieldaten automatisch eingestellt. Man kann sich jeden Parameter als einen winzigen Drehknopf vorstellen, der ein Detail des Verhaltens festlegt. Die Parameterzahl ist einfach die Antwort auf die Frage: Wie viele solcher Drehknöpfe hat dieses Modell? Bei heutigen Sprachprogrammen sind das oft mehrere Milliarden bis mehrere hundert Milliarden.

Warum Milliarden von Drehknöpfen eine Rolle spielen

Die Parameterzahl ist die Zahl, mit der Firmen ihre Modelle vergleichen. In Namen taucht sie direkt auf: Ein Modell mit dem Zusatz « 7B » hat sieben Milliarden Parameter, « 70B » steht für siebzig Milliarden. Grob gilt: Mehr Parameter bedeuten mehr Platz, um Wissen und Sprachmuster zu speichern. Kleine Modelle können einfache Aufgaben lösen, verlieren aber bei langen Texten und schwierigen Fragen schneller den Faden.

Gleichzeitig kostet jeder Parameter Geld. Die Zahlen müssen im Speicher der Grafikkarten liegen, während das Modell arbeitet. Als Daumenregel braucht ein Modell etwa zwei Gigabyte Speicher pro Milliarde Parameter. Ein Modell mit 70 Milliarden Parametern passt deshalb nicht mehr auf einen normalen Laptop, ein Modell mit drei Milliarden schon. Genau hier entscheidet sich, ob eine KI auf deinem Handy läuft oder nur in einem Rechenzentrum.

Ein verbreiteter Irrtum ist, dass mehr Parameter automatisch besser wären. Ein sorgfältig mit guten Daten trainiertes Modell mit acht Milliarden Parametern schlägt oft ein schlecht trainiertes mit siebzig Milliarden. Die Menge und Qualität der Trainingstexte zählt mindestens genauso viel wie die Größe.

Was ein Parameter im Modell eigentlich tut

Ein Modell verarbeitet Text, indem es Zahlen miteinander multipliziert und addiert. Die Parameter sind die Faktoren in diesen Rechnungen. Sie legen fest, wie stark ein bestimmtes Signal weitergegeben oder abgeschwächt wird. Beim Lernen wird jeder Parameter unzählige Male minimal nachjustiert, bis das Modell im Durchschnitt gute Vorhersagen macht.

Eine schulische Analogie ist die Geradengleichung y = m·x + b. Dort sind m und b zwei Parameter, die die Lage der Geraden bestimmen. Ein Sprachmodell folgt demselben Prinzip, nur mit Milliarden statt zwei solcher Werte und in vielen Schichten hintereinander. Deshalb kann es Zusammenhänge beschreiben, die eine einzelne Gerade nie erfassen könnte.

Wichtig ist die Unterscheidung zwischen vorhandenen und tatsächlich benutzten Parametern. Manche Modelle sind so gebaut, dass pro Anfrage nur ein Bruchteil ihrer Parameter rechnet. Ein solches Modell kann 400 Milliarden Parameter besitzen, aber nur 30 Milliarden davon aktivieren. Solche Angaben stehen in technischen Berichten dann als « Gesamtparameter » und « aktive Parameter » nebeneinander.

Die Zahl in Produktnamen und Börsenmeldungen

Wer KI-Nachrichten liest, stößt ständig auf diese Zahl. Sie steht in Modellnamen, in Pressemitteilungen und in Vergleichstabellen. Anbieter benutzen sie als Argument für Leistung, Kritiker als Hinweis auf Stromverbrauch und Kosten. Auffällig ist, dass die größten Firmen die Parameterzahl ihrer Spitzenmodelle inzwischen oft geheim halten.

Praktisch relevant wird die Zahl beim Herunterladen frei verfügbarer Modelle. Dort steht neben jedem Download, ob es sich um eine Version mit drei, acht oder siebzig Milliarden Parametern handelt. Wer sie auf dem eigenen Rechner ausprobieren will, wählt anhand seiner Grafikkarte aus. Die kleineren Varianten antworten schneller, die größeren gründlicher.

Auch für Anleger ist die Zahl indirekt spannend. Größere Modelle brauchen mehr Chips, mehr Strom und größere Rechenzentren. Der Trend zu immer mehr Parametern hat deshalb den Umsatz von Chipherstellern stark beeinflusst. Zuletzt geht die Entwicklung aber in beide Richtungen: sehr große Modelle für schwierige Aufgaben und sehr kleine für Handys und Autos.