Post-Training

Große Sprachprogramme wie ChatGPT lernen in zwei Etappen. In der ersten Etappe lesen sie gewaltige Mengen Text aus dem Internet und aus Büchern. Danach können sie erstaunlich gut vorhersagen, welches Wort in einem Satz als nächstes passt. Was sie aber noch nicht können: einer Anweisung folgen, eine Frage sauber beantworten oder heikle Bitten ablehnen. Genau das wird in der zweiten Etappe nachgeholt, und diese Etappe heißt Post-Training. Man arbeitet dabei nicht mehr mit beliebigem Text, sondern mit sorgfältig ausgewählten Beispielen und mit Rückmeldungen von Menschen.

Was den Unterschied zwischen Textmaschine und Assistent macht

Ein Modell nach der ersten Etappe ist wie ein extrem gut gelesener Mensch, der nie gelernt hat, ein Gespräch zu führen. Fragt man ihn etwas, ergänzt er den Satz vielleicht mit weiteren ähnlichen Fragen. Das ist statistisch korrekt, aber für den Nutzer wertlos. Post-Training bringt dem Modell bei, dass eine Frage eine Antwort verlangt.

Damit hängt auch fast alles zusammen, was Nutzer an einem Chatbot bemerken. Der Ton, die Länge der Antworten, die Bereitschaft nachzufragen, das Ablehnen von Anleitungen für Waffen oder Betrug: All das entsteht hier, nicht im ersten Lernschritt. Zwei Firmen können vom gleichen Grundmodell starten und am Ende sehr unterschiedliche Produkte haben.

Für Unternehmen ist das auch eine Kostenfrage. Die erste Etappe verschlingt Millionen und dauert Wochen auf tausenden Spezialchips. Post-Training ist im Vergleich billig und kann in Tagen wiederholt werden. Deshalb erscheinen neue Modellversionen oft im Abstand von Monaten, obwohl das teure Grundtraining dahinter dasselbe geblieben ist.

Die Bausteine: Musterantworten, Belohnungen und Übung

Der erste Baustein heißt überwachte Feinabstimmung. Menschen schreiben Tausende Beispielgespräche: eine Anfrage und die gewünschte gute Antwort. Das Modell wird darauf trainiert, solche Antworten nachzubilden. Es lernt so das Format eines Dialogs, nicht neues Weltwissen.

Der zweite Baustein ist Lernen aus menschlicher Bewertung. Das Modell erzeugt zu einer Frage mehrere Antworten, und Testpersonen ordnen sie nach Qualität. Aus diesen Urteilen entsteht ein zweites, kleineres Programm, das Antworten Punkte gibt. Das Hauptmodell übt dann so lange, bis es möglichst viele Punkte einsammelt. Fachleute nennen dieses Verfahren RLHF, kurz für Reinforcement Learning from Human Feedback.

Inzwischen kommt ein dritter Baustein dazu: Übung an Aufgaben mit prüfbarer Lösung. Bei Mathematik oder Programmcode kann ein Computer selbst nachrechnen, ob das Ergebnis stimmt. Das Modell darf lange nachdenken, und richtige Lösungswege werden verstärkt. Auf diese Weise sind die sogenannten Reasoning-Modelle entstanden, die Aufgaben schrittweise durchdenken. Wichtig ist die Abgrenzung: Post-Training verändert das Verhalten und das Herausholen von Fähigkeiten, es füllt aber kaum neues Faktenwissen nach.

Post-Training in Produkten und Schlagzeilen

Wer eine Modellkarte oder einen technischen Bericht von OpenAI, Google oder Meta liest, findet dort fast immer einen eigenen Abschnitt zum Post-Training. Auch Meldungen über offene Modelle spielen damit: Ein frei verfügbares Grundmodell wird von einer Universität oder einem Start-up mit eigenem Post-Training zu einem Spezialisten für Medizin oder Recht umgebaut. Das ist ein wesentlicher Grund, warum es so viele Modellvarianten gibt.

Im Alltag merkt man Post-Training genau dann, wenn es misslingt. Ein Modell, das jede zweite Bitte für gefährlich hält, gilt als überfiltert. Ein Modell, das alles bejaht und dem Nutzer nach dem Mund redet, gilt als zu unterwürfig. Beides sind Kritikpunkte an dieser Trainingsphase, nicht an der Wissensbasis des Modells.

Ein häufiger Irrtum: Post-Training sei dasselbe wie das Prompten, also das geschickte Formulieren einer Anfrage. Prompten wirkt nur für dieses eine Gespräch. Post-Training verändert das Modell dauerhaft, bevor es überhaupt bei den Nutzern ankommt.