Pretraining
Pretraining ist die erste und teuerste Lernphase eines großen KI-Modells: Es liest gigantische Mengen Text und lernt dabei, das jeweils nächste Wort vorherzusagen. Danach kennt es Sprache und viel Weltwissen, ist aber noch nicht auf eine bestimmte Aufgabe zugeschnitten.
Ein Sprachmodell wie ChatGPT entsteht nicht in einem Schritt. Am Anfang steht das Pretraining, also das Vortraining. Dabei liest das Programm riesige Mengen Text aus dem Internet, aus Büchern und aus Programmcode. Die Aufgabe dabei ist immer dieselbe: Ein Stück Text wird gezeigt, das nächste Wort ist verdeckt, und das Programm muss es erraten. Es vergleicht seinen Tipp mit dem echten Wort und stellt seine internen Rechenwerte ein bisschen um, damit es beim nächsten Mal besser rät. Diesen Vorgang wiederholt es billionenfach. Am Ende hat es nebenbei Grammatik, Fakten, Übersetzungen und Schreibstile gelernt, ohne dass ihm jemand eine einzige Regel erklärt hat.
Warum Pretraining der teure Teil ist
Pretraining verschlingt den größten Teil des Geldes und der Rechenzeit. Große Modelle laufen dafür Wochen oder Monate auf zehntausenden Spezialchips. Die Kosten für ein Spitzenmodell liegen im dreistelligen Millionenbereich. Deshalb können nur wenige Unternehmen und Staaten ein solches Modell überhaupt von null aufbauen.
Genau daraus entsteht der wirtschaftliche Reiz. Ein vortrainiertes Modell lässt sich immer wieder weiterverwenden. Wer es besitzt, kann daraus einen Chatbot, eine Programmierhilfe oder einen Übersetzer machen. Diese Anpassung kostet nur einen Bruchteil des Vortrainings. Fachleute sprechen deshalb von einem Basismodell, auf dem viele Produkte aufsetzen.
Auch die Grenzen eines Modells werden hier festgelegt. Was im Trainingstext fehlt, kennt das Modell später kaum. Und was danach in der Welt passiert, weiß es nicht, denn die Daten haben ein Enddatum. Dieses sogenannte Wissensende ist der Grund, warum Modelle bei aktuellen Ereignissen oft irren.
Vorhersagen als Lernprinzip
Technisch besteht das Modell aus Milliarden von Zahlen, den Parametern. Man kann sie sich als Stellschrauben vorstellen. Beim Pretraining wird nach jedem Ratefehler ein Teil dieser Schrauben minimal nachgedreht. Einzeln bringt das fast nichts, in der Masse entsteht daraus Sprachverständnis.
Der Trick ist, dass niemand die Trainingsdaten von Hand beschriften muss. Die richtige Antwort steckt schon im Text selbst, nämlich das Wort, das dort tatsächlich folgt. Fachleute nennen das selbstüberwachtes Lernen. Nur dadurch lassen sich überhaupt so große Datenmengen nutzen.
Ein häufiger Irrtum: Nach dem Pretraining ist das Modell noch kein hilfreicher Assistent. Es setzt Texte fort, statt Fragen zu beantworten. Erst in weiteren Schritten lernt es, Anweisungen zu befolgen und Ausfälle zu vermeiden. Diese Nachbearbeitung heißt Feintuning, und dafür nutzt man vergleichsweise kleine, sorgfältig ausgewählte Beispielsammlungen.
Pretraining in News und Produkten
In Meldungen über neue Modelle geht es fast immer um das Pretraining. Genannt werden dann die Zahl der Parameter, die Menge der verarbeiteten Textbausteine und die Zahl der eingesetzten Grafikchips. Wenn ein Konzern ein neues Rechenzentrum ankündigt, ist das meist Vorbereitung für die nächste Vortrainingsrunde.
Auch die Rechtsstreitigkeiten der Branche drehen sich um diese Phase. Zeitungen, Verlage und Künstler klagen, weil ihre Werke ohne Erlaubnis in den Trainingsdaten steckten. Parallel dazu schließen Anbieter Lizenzverträge mit Medienhäusern ab. Für Anleger ist das relevant, weil solche Verfahren die Kosten künftiger Modelle verändern können.
Im Alltag begegnet man dem Begriff eher indirekt. Steht in einer Modellbeschreibung ein Datum wie „Wissensstand Mitte 2024“, dann bezeichnet das das Ende der Vortrainingsdaten. Und wenn eine Firma sagt, sie habe ein offenes Modell „angepasst“, hat sie das teure Pretraining nicht selbst gemacht, sondern nur die letzte Feinarbeit.