Modellgewichte

Ein KI-System wie ein Chatprogramm besteht im Kern aus einer sehr langen Liste von Zahlen. Diese Zahlen heißen Modellgewichte. Am Anfang sind sie zufällig gesetzt, und das Programm gibt nur Unsinn aus. Während des Lernens werden sie Millionen Male leicht nachjustiert, bis die Ausgaben zu den Beispielen passen, die man dem System vorgelegt hat. Danach steckt alles, was das System kann, in genau diesen Zahlen. Große Systeme haben Hunderte Milliarden solcher Zahlen; man spricht dann auch von Milliarden Parametern.

Die Gewichte sind das eigentliche Vermögen

Der Aufbau eines KI-Systems ist meist kein Geheimnis. Die Bauweise moderner Sprachmodelle ist in Forschungsaufsätzen beschrieben und lässt sich in wenigen hundert Zeilen Programmcode niederschreiben. Wertvoll ist nicht der Bauplan, sondern das Ergebnis des Trainings: die fertig eingestellten Zahlen. Ihre Berechnung kostet oft viele Millionen Euro an Strom und Rechenzeit.

Deshalb ist die Frage, wer Zugriff auf die Gewichte bekommt, in der Branche hoch umstritten. Manche Firmen veröffentlichen sie zum Herunterladen. Solche Modelle nennt man offengewichtig, oft auch etwas ungenau Open Source. Jeder kann sie dann auf eigenen Rechnern betreiben, verändern und weitertrainieren. Andere Anbieter halten die Gewichte streng geheim und lassen ihr Modell nur über das Internet benutzen.

Für Unternehmen hat das praktische Folgen. Wer die Gewichte selbst besitzt, ist von keinem Anbieter abhängig und kann sensible Daten im eigenen Haus verarbeiten. Wer nur Zugang über eine Schnittstelle im Netz hat, zahlt pro Anfrage und muss damit leben, dass das Modell jederzeit geändert oder abgeschaltet werden kann.

Wie aus Zufallszahlen Wissen wird

Man kann sich ein Gewicht als Drehknopf vorstellen, der bestimmt, wie stark ein bestimmtes Signal im System weitergeleitet wird. Ein hoher Wert verstärkt, ein negativer Wert dämpft. Millionen solcher Knöpfe zusammen ergeben das Verhalten des Modells. Kein einzelner Knopf hat dabei eine klar benennbare Bedeutung.

Das Einstellen läuft immer nach demselben Schema. Das Modell bekommt ein Beispiel und macht eine Vorhersage, etwa das nächste Wort in einem Satz. Dann wird der Fehler gemessen, also der Abstand zur richtigen Antwort. Anschließend berechnet ein Verfahren, in welche Richtung jedes einzelne Gewicht verschoben werden muss, damit der Fehler kleiner wird. Jede Änderung ist winzig, aber der Vorgang wiederholt sich milliardenfach.

Nach dem Training sind die Gewichte fest. Wenn du danach mit einem Chatprogramm sprichst, verändert es sich durch dein Gespräch nicht. Das ist ein häufiger Irrtum. Das Modell rechnet nur mit den vorhandenen Zahlen und vergisst das Gespräch danach wieder. Nachträgliche Anpassungen an einen Fachbereich sind zwar möglich, verlangen aber einen eigenen Trainingslauf, das sogenannte Feintuning.

Gewichte in Nachrichten und Produkten

In Meldungen liest man häufig Formulierungen wie „Meta hat die Gewichte von Llama veröffentlicht" oder „ein französisches Modell mit sieben Milliarden Parametern". Gemeint ist immer dieselbe Sache: die Zahlenmenge, die das Modell ausmacht. Die Zahl der Parameter dient dabei als grobes Größenmaß, ähnlich wie die Hubraumangabe bei einem Motor.

Die Größe entscheidet auch darüber, wo ein Modell laufen kann. Jedes Gewicht braucht Speicherplatz, typischerweise ein bis zwei Byte. Ein Modell mit sieben Milliarden Parametern belegt also mehrere Gigabyte und passt auf einen guten Heimrechner oder ein neueres Smartphone. Ein Modell mit mehreren hundert Milliarden Parametern braucht ein Rechenzentrum mit vielen Spezialchips.

Auch der Diebstahl von Gewichten ist ein reales Thema. Wer die Datei kopiert, besitzt eine vollständige Kopie des Modells, ohne einen Cent für das Training zu zahlen. Sicherheitsbehörden und Firmen behandeln solche Dateien deshalb wie Betriebsgeheimnisse. Umgekehrt gibt es Plattformen wie Hugging Face, auf denen frei verfügbare Gewichte Hunderttausende Male heruntergeladen werden.