Gewichte

Ein KI-Modell ist im Kern eine sehr große Rechenvorschrift. Diese Vorschrift enthält Millionen oder Milliarden einzelner Zahlen. Genau diese Zahlen nennt man Gewichte. Sie stehen nicht von Anfang an fest, sondern werden während des Lernens Schritt für Schritt verändert. Am Ende steckt alles, was das Modell kann, in diesen Zahlen. Man kann sie sich wie die Stellung von Millionen kleiner Regler an einem riesigen Mischpult vorstellen: Die Musik entsteht nicht aus dem Gerät allein, sondern aus der genauen Einstellung aller Regler.

Warum die Zahlen das eigentliche Produkt sind

Der Programmcode eines KI-Modells ist meist überschaubar und oft frei verfügbar. Wertvoll ist etwas anderes: die fertig eingestellten Gewichte. Sie zu erzeugen kostet Wochen Rechenzeit auf tausenden Spezialchips und teilweise hunderte Millionen Euro. Wer diese Datei hat, kann das Modell auf eigenen Rechnern betreiben, ohne diesen Aufwand noch einmal zu bezahlen.

Deshalb dreht sich die Diskussion um offene KI genau an diesem Punkt. Ein Unternehmen wie Meta veröffentlicht die Gewichte seiner Llama-Modelle zum Herunterladen. Andere Anbieter wie OpenAI halten die Gewichte ihrer größten Modelle geheim und lassen sie nur über das Internet benutzen. Der Fachausdruck dafür lautet „open weights“ gegenüber einem geschlossenen Modell.

Veröffentlichte Gewichte lassen sich nicht zurückrufen. Einmal heruntergeladen, kann sie jeder weiterverbreiten und auch die eingebauten Schutzregeln wieder entfernen. Das ist einer der Hauptstreitpunkte in der Debatte um KI-Sicherheit.

Wie die Regler ihre Stellung finden

Am Anfang sind die Gewichte reiner Zufall, das Modell gibt nur Unsinn aus. Dann bekommt es ein Beispiel, etwa einen halben Satz, und soll das nächste Wort vorhersagen. Die Vorhersage wird mit dem tatsächlichen Wort verglichen, und der Abstand zwischen beiden ergibt eine Fehlerzahl.

Nun berechnet ein Verfahren, welches Gewicht wie stark zu diesem Fehler beigetragen hat. Jedes Gewicht wird ein winziges Stück in die Richtung verschoben, die den Fehler verkleinert. Dieser Vorgang heißt Training und wiederholt sich viele Milliarden Male. Die einzelnen Änderungen sind so klein, dass man sie nicht bemerkt. Erst ihre Summe macht aus Rauschen ein sprachfähiges Modell.

Wichtig ist die Abgrenzung zur Benutzung: Sobald das Training beendet ist, sind die Gewichte fest. Ein Chatbot lernt während eines Gesprächs nichts dauerhaft dazu. Er kann sich nur im laufenden Gespräch auf das beziehen, was im Textfenster steht. Neues Wissen kommt erst mit einem neuen Trainingslauf in die Gewichte.

Wo Gewichte in Nachrichten und Downloads auftauchen

Wenn in Meldungen von einem Modell mit 70 Milliarden Parametern die Rede ist, sind damit die Gewichte gemeint. Diese Zahl sagt grob, wie groß und wie teuer im Betrieb das Modell ist. Sie sagt aber nicht sicher, wie gut es ist: Kleinere, sorgfältig trainierte Modelle schlagen regelmäßig größere. Ein häufiger Irrtum ist, mehr Gewichte seien automatisch besser.

Auf Plattformen wie Hugging Face kann man Gewichte frei herunterladen. Die Dateien sind riesig, ein Modell mittlerer Größe belegt schnell 15 Gigabyte. Damit es auf einen normalen Rechner passt, werden die Zahlen oft gröber gespeichert, etwa mit weniger Stellen pro Gewicht. Dieses Verfahren heißt Quantisierung und spart Speicher, kostet aber ein wenig Genauigkeit.

Auch beim Anpassen von Modellen geht es um Gewichte. Beim sogenannten Fine-Tuning nimmt man ein fertiges Modell und verändert seine Gewichte mit eigenen Daten nur noch leicht, zum Beispiel für die Sprache einer Firma. Und wenn eine KI plötzlich schlechter oder anders antwortet, hat der Anbieter meist neue Gewichte eingespielt. Das erklärt, warum sich ein Chatbot über Nacht verändern kann.