Gewicht (neuronales Netz)

Ein Programm, das Sprache versteht oder Bilder erkennt, besteht im Kern aus sehr vielen Zahlen. Diese Zahlen heißen Gewichte. Jedes Gewicht sagt, wie stark ein bestimmtes Signal in einer Rechenkette weitergegeben wird. Ein großes Gewicht verstärkt das Signal, ein Gewicht nahe Null unterdrückt es fast völlig. Ein negatives Gewicht dreht die Wirkung um: das Signal spricht dann gegen ein Ergebnis. Man kann sich Gewichte als Regler an einem gigantischen Mischpult vorstellen, das Millionen oder Milliarden solcher Regler hat.

Warum in den Gewichten das ganze Wissen steckt

Ein neu erzeugtes Modell hat zufällige Gewichte und produziert Unsinn. Der Lernvorgang verändert nichts anderes als eben diese Zahlen. Danach kann das Modell übersetzen, Code schreiben oder Tumore auf Röntgenbildern markieren. Das gelernte Wissen liegt also nicht in einer Datenbank mit Sätzen, sondern verteilt in den Zahlenwerten.

Deshalb ist die Zahl der Gewichte eine der wichtigsten Kennzahlen der Branche. Sie werden meist Parameter genannt. Wenn in Nachrichten von einem Modell mit 70 Milliarden Parametern die Rede ist, sind damit 70 Milliarden solcher Zahlen gemeint. Mehr Gewichte bedeuten grob mehr Kapazität, aber auch mehr Speicherbedarf und höhere Kosten pro Antwort.

Für Firmen sind die fertigen Gewichte das eigentliche Kapital. Das Training kostet oft viele Millionen Euro an Rechenzeit und Strom. Wer die Gewichtsdatei besitzt, besitzt das Ergebnis dieser Investition. Genau darum streiten Unternehmen darüber, ob sie ihre Gewichte veröffentlichen oder geheim halten.

Wie die Zahlen ihre Werte finden

Das Training läuft in Runden. Das Modell bekommt ein Beispiel, etwa einen halben Satz, und soll das nächste Wort vorhersagen. Dann vergleicht ein Rechenschritt die Vorhersage mit der richtigen Lösung. Die Abweichung heißt Fehler oder Verlust.

Anschließend berechnet das Verfahren für jedes einzelne Gewicht, in welche Richtung es den Fehler kleiner macht. Jedes Gewicht wird ein winziges Stück in diese Richtung verschoben. Dieses Rückwärtsrechnen nennt man Backpropagation. Ein einzelner Schritt bringt fast nichts, aber es gibt Milliarden solcher Schritte.

Ein häufiger Irrtum ist, dass ein einzelnes Gewicht für einen erkennbaren Begriff zuständig wäre. Das ist fast nie so. Bedeutung entsteht aus dem Zusammenspiel vieler Gewichte, und ein einzelner Wert allein sagt nichts. Deshalb ist es so schwer, Entscheidungen eines Modells nachträglich zu erklären.

Offene Gewichte, Downloads und Speicherplatz

Wer ein Modell aus dem Internet herunterlädt, lädt in Wirklichkeit eine Datei mit den Gewichten herunter. Solche Dateien sind groß: Für ein Modell mit sieben Milliarden Parametern sind je nach Speicherformat mehrere Gigabyte üblich. Das Programm, das damit rechnet, ist im Vergleich winzig. Ohne die Gewichte ist es eine leere Hülle.

In Nachrichten hört man den Begriff « Open Weights ». Damit ist gemeint, dass ein Unternehmen die Gewichte frei zum Download stellt. Das ist nicht dasselbe wie Open Source, denn die Trainingsdaten und das Trainingsprogramm bleiben meist geheim. Man erhält das Ergebnis, nicht das Rezept.

Gewichte lassen sich auch nachträglich verändern. Beim Feintuning trainiert man ein fertiges Modell mit eigenen Beispielen weiter, etwa mit den Handbüchern einer Firma. Bei der Quantisierung speichert man dieselben Gewichte gröber, damit sie auf einen normalen Laptop passen. In beiden Fällen bleibt der Kern derselbe: Man arbeitet an den Zahlen, nicht am Programmcode.