Pre-Training

Programme wie ChatGPT werden nicht von Menschen mit Regeln gefüttert. Sie lernen aus Beispielen, und das Pre-Training ist der erste und größte Teil dieses Lernens. Dabei liest das Programm gewaltige Mengen Text aus dem Internet, aus Büchern und aus Programmcode. Die Aufgabe ist immer dieselbe und sehr simpel: Es soll erraten, welches Wort als Nächstes kommt. Wer das über Billionen Wörter hinweg übt, muss dabei ganz nebenbei Grammatik, Weltwissen und Zusammenhänge lernen. Am Ende dieser Phase steht ein Rohmodell, das erstaunlich viel weiß, aber noch kein hilfsbereiter Gesprächspartner ist.

Warum das Pre-Training die eigentliche Milliardeninvestition ist

Fast alle Fähigkeiten eines Sprachmodells entstehen in dieser Phase. Was ein Modell über Geschichte, Physik oder Java weiß, hat es beim Vortraining aufgenommen. Spätere Schritte schleifen dieses Wissen nur noch zurecht. Sie fügen kaum neues hinzu.

Genau deshalb ist das Pre-Training extrem teuer. Ein großes Modell rechnet dafür wochen- oder monatelang auf zehntausenden Spezialchips. Die Kosten für einen einzigen solchen Lauf liegen bei geschätzt mehreren zehn bis hundert Millionen Dollar. Geht etwas schief, ist das Geld weg. Aus diesem Grund können nur wenige Konzerne und gut finanzierte Start-ups überhaupt eigene Basismodelle von null an trainieren.

Für Anleger und Beobachter ist das Vortraining darum die Kennzahl, an der man Ehrgeiz messen kann. Wenn ein Unternehmen ankündigt, ein Modell “from scratch” zu trainieren, spricht es über Rechenzentren, Stromverträge und Chipbestellungen. Wer stattdessen nur ein bestehendes Modell nachjustiert, spielt in einer völlig anderen Kostenklasse.

Wortvorhersage als Lernaufgabe

Der Trick ist, dass die Trainingsaufgabe keine menschliche Vorarbeit braucht. Man nimmt einen Satz, deckt das letzte Wort ab und lässt das Modell raten. Die richtige Antwort steht schon im Text. Weicht die Vorhersage ab, werden die internen Einstellwerte des Modells minimal in die bessere Richtung verschoben. Diese Werte heißen Parameter, und moderne Modelle haben hunderte Milliarden davon.

Ein Vergleich: Es ist wie Lückentexte lösen, aber viele Milliarden Mal, mit sofortiger Korrektur nach jeder Lücke. Kein Lehrer muss Aufgaben schreiben, der Text ist gleichzeitig Frage und Lösung. Fachleute nennen das selbstüberwachtes Lernen. Es ist der Grund, warum sich das Verfahren so gut auf gigantische Datenmengen hochskalieren lässt.

Entscheidend sind drei Größen: die Menge an Text, die Zahl der Parameter und die eingesetzte Rechenzeit. Wachsen sie gemeinsam, wird das Modell zuverlässig besser. Diese Beobachtung nennt man Skalierungsgesetze. Sie hat den Wettlauf um immer größere Trainingsläufe überhaupt erst ausgelöst. Inzwischen gilt allerdings die Qualität und Auswahl der Texte als ebenso wichtig wie die schiere Menge.

Vom Rohmodell zum Chatbot

Das Ergebnis des Vortrainings heißt Basismodell oder Foundation Model. Es setzt Texte fort, beantwortet aber nicht unbedingt Fragen. Fragt man es etwas, liefert es womöglich zehn weitere Fragen, weil im Trainingstext oft Fragenlisten standen. Erst das anschließende Feintuning bringt ihm bei, Anweisungen zu befolgen und heikle Bitten abzulehnen. Dieser Schritt dauert Tage statt Monate und kostet einen Bruchteil.

In den Nachrichten begegnet dir das Vortraining meist indirekt. Wenn Verlage oder Künstler gegen KI-Firmen klagen, geht es um die Texte und Bilder, die ins Pre-Training geflossen sind. Wenn über den Strombedarf von Rechenzentren diskutiert wird, sind Trainingsläufe ein großer Teil davon. Und wenn ein Modell einen Wissensstand von einem bestimmten Monat hat, dann endet dort sein Trainingsdatensatz.

Ein häufiger Irrtum: Viele glauben, ein Chatbot lerne aus jedem Gespräch dazu. Das stimmt so nicht. Das Wissen ist im Vortraining eingefroren. Neue Informationen kommen entweder über eine Websuche im Gespräch hinein oder erst mit der nächsten Modellgeneration.