Pre-Training-Lauf

Ein Programm, das Texte schreiben oder Fragen beantworten kann, wird nicht von Menschen Regel für Regel programmiert. Es lernt selbst, indem es unfassbar viele Texte liest und dabei ständig vorhersagt, welches Wort als Nächstes kommt. Diese erste große Lernphase heißt Pre-Training, auf Deutsch etwa Vortraining. Ein einzelner Durchgang davon ist ein Pre-Training-Lauf. Er wird einmal gestartet, läuft dann Wochen oder Monate durch und endet mit einem fertigen Grundmodell. Alles, was danach kommt, baut nur noch auf diesem Ergebnis auf.

Der teuerste Einzelposten eines KI-Projekts

Ein großer Pre-Training-Lauf ist die vielleicht riskanteste Ausgabe der Tech-Branche. Firmen mieten oder kaufen dafür tausende Grafikchips, sogenannte GPUs, die für solche Rechenaufgaben besonders gut geeignet sind. Die Kosten für einen einzigen Lauf der größten Modelle liegen bei zweistelligen oder dreistelligen Millionenbeträgen. Dazu kommt Strom in der Größenordnung einer Kleinstadt.

Das Heikle daran: Man sieht erst am Ende, ob das Ergebnis gut ist. Ein Fehler in den Daten oder in den Einstellungen kann Wochen Rechenzeit vernichten. Deshalb testen Teams ihre Ideen zuerst an kleinen Modellen und rechnen hoch, was bei der großen Version passieren dürfte. Diese Hochrechnungen nennt man Skalierungsgesetze.

Auch für die Börse ist das relevant. Wenn ein Konzern ankündigt, mehrere Milliarden in neue Rechenzentren zu stecken, geht ein Großteil davon in kommende Pre-Training-Läufe. Der Chiphersteller Nvidia verdient sein Geld vor allem an genau diesem Bedarf.

Vom Textberg zum Grundmodell

Am Anfang steht der Datensatz: Webseiten, Bücher, Programmcode, Foren, oft mehrere Billionen Wörter. Dieser Berg wird gefiltert, von Müll und Doppelungen befreit und in kleine Einheiten zerlegt, die Tokens heißen. Ein Token ist meist ein Wortteil, etwa eine Silbe. Das Modell startet mit reinem Zufall in seinen Millionen oder Milliarden Einstellwerten, den Parametern.

Dann beginnt die eigentliche Schleife. Das Modell liest einen Textausschnitt, sagt das nächste Token voraus und vergleicht seine Vorhersage mit dem echten Wort. Der Abstand zwischen Vorhersage und Wahrheit ist der Fehler. Anschließend werden alle Parameter ein winziges Stück in die Richtung verschoben, die diesen Fehler kleiner macht. Diese Schleife wiederholt sich viele Millionen Mal.

Ein Vergleich hilft: Es ist wie ein Schüler, der ein ganzes Bibliotheksregal liest, dabei aber nie Fakten auswendig lernt, sondern nur ein Gefühl für Sprache und Zusammenhänge entwickelt. Genau deshalb kann ein Grundmodell direkt nach dem Lauf noch keine höflichen, hilfreichen Antworten geben. Es setzt Texte nur plausibel fort. Das Antwortverhalten kommt erst durch eine spätere, viel kürzere Nachbearbeitung, das Fine-Tuning.

Woran man Pre-Training in Nachrichten erkennt

Wenn eine neue Modellgeneration vorgestellt wird, taucht der Begriff fast immer auf. Sätze wie « trainiert auf 15 Billionen Tokens » oder « Wissensstand bis Mitte 2024 » beziehen sich auf den Pre-Training-Lauf. Der Wissensstand ist einfach der Zeitpunkt, an dem die Sammlung der Trainingsdaten endete. Danach passierte Weltgeschichte, die das Modell von sich aus nicht kennt.

Auch Streitfälle hängen daran. Klagen von Verlagen und Künstlern gegen KI-Firmen drehen sich meist um Texte und Bilder, die ohne Erlaubnis in solche Läufe eingespeist wurden. Da ein Lauf nicht rückgängig zu machen ist, kann man einzelne Werke nachträglich kaum wieder aus dem Modell entfernen.

Ein häufiger Irrtum ist, ein Chatbot lerne beim Gespräch weiter. Das tut er nicht. Der Pre-Training-Lauf ist längst abgeschlossen, das Modell ist eingefroren. Neue Informationen kommen entweder aus dem laufenden Gespräch, aus einer Websuche oder aus einem völlig neuen Lauf für die nächste Modellversion.