Parameter (KI-Modell)

Ein KI-Modell ist im Kern eine sehr große Rechenvorschrift. In dieser Rechenvorschrift stehen Zahlen, die nicht fest vorgegeben sind, sondern verstellt werden können. Diese verstellbaren Zahlen heißen Parameter. Sie legen fest, wie stark ein Eingabewert das Ergebnis beeinflusst. Am Anfang sind sie zufällig gewählt, das Modell antwortet dann Unsinn. Beim Lernen aus Millionen Beispielen werden sie Schritt für Schritt nachjustiert. Am Ende steckt alles, was das Modell « weiß », in diesen Zahlen. Nichts anderes wird gespeichert: kein Text, keine Regeln, keine Liste von Fakten.

Warum das wichtig ist

Die Parameterzahl ist die bekannteste Kennzahl der Branche. Wenn in Nachrichten von einem « 70-Milliarden-Modell » die Rede ist, sind Parameter gemeint. Die Zahl bestimmt mit, wie viel Speicher ein Modell braucht und wie teuer der Betrieb ist. Grob gilt: mehr Parameter bedeuten mehr Kapazität für Muster und Zusammenhänge.

Diese Faustregel ist aber unzuverlässig geworden. Ein kleineres Modell mit besseren Trainingsdaten schlägt heute oft ein größeres. Außerdem müssen nicht alle Parameter gleichzeitig rechnen. Manche Modelle aktivieren pro Anfrage nur einen Bruchteil davon. Die reine Parameterzahl sagt deshalb wenig über die tatsächliche Leistung aus. Fachleute schauen zusätzlich auf Testergebnisse und auf die Rechenkosten pro Antwort.

Wie Parameter entstehen

Stell dir ein Mischpult mit Milliarden Reglern vor. Jeder Regler ist ein Parameter. Das Training läuft in Runden ab. Das Modell bekommt einen Textausschnitt und soll das nächste Wort vorhersagen. Dann wird die Vorhersage mit dem echten Wort verglichen. Aus der Abweichung berechnet ein Verfahren, in welche Richtung jeder einzelne Regler bewegt werden müsste. Alle Regler werden ein winziges Stück verschoben. Danach beginnt die nächste Runde mit dem nächsten Textausschnitt.

Dieser Vorgang wiederholt sich milliardenfach über Wochen hinweg. Niemand stellt einen Regler von Hand ein. Es lässt sich auch nicht sagen, welcher Parameter für welches Wissen zuständig ist. Das Wissen liegt verteilt über viele Zahlen gleichzeitig. Genau deshalb ist es so schwer nachzuvollziehen, warum ein Modell eine bestimmte Antwort gibt.

Jeder Parameter wird als Zahl mit Nachkommastellen gespeichert. Wie genau, ist eine Entscheidung mit Folgen. Speichert man gröber, wird das Modell kleiner und schneller, aber etwas ungenauer. Dieses Verfahren heißt Quantisierung und macht große Modelle auf normaler Hardware nutzbar.

Wo der Begriff auftaucht

In Produktankündigungen steht die Parameterzahl oft direkt im Namen. Modellreihen tragen Zusätze wie « 7B » oder « 405B », wobei B für Milliarden steht. Wer ein Modell auf dem eigenen Rechner ausprobieren will, rechnet damit direkt: Als Anhaltspunkt braucht ein Modell mit sieben Milliarden Parametern in gröberer Speicherung mehrere Gigabyte Arbeitsspeicher. Deshalb laufen kleine Modelle auf einem Laptop, große nur in Rechenzentren.

Auch in Finanznachrichten spielt die Zahl eine Rolle. Größere Modelle brauchen mehr Grafikkarten, mehr Strom und mehr Kapital. Analysten nutzen Parameterzahlen deshalb als Hinweis auf die Investitionen eines Unternehmens. Und wenn ein Anbieter ein Modell als « offene Gewichte » veröffentlicht, heißt das: Die trainierten Parameter sind zum Download freigegeben.