Alignment-Vortraining
Alignment-Vortraining bedeutet, dass ein KI-System schon während des ersten großen Lernprozesses auf erwünschtes Verhalten hin geformt wird — nicht erst durch Nachbesserungen am Ende. Erwünschte und unerwünschte Beispiele werden dabei von Anfang an unterschiedlich behandelt.
Große Sprachprogramme wie ChatGPT lernen in zwei Etappen. Zuerst lesen sie riesige Mengen Text aus dem Internet und lernen dabei, Sätze fortzusetzen. Diese erste, wochenlange Etappe heißt Vortraining. Danach folgt eine kürzere Nachbearbeitung, in der Menschen dem Programm beibringen, hilfsbereit und höflich zu antworten und gefährliche Bitten abzulehnen. Alignment-Vortraining verschiebt diesen zweiten Teil nach vorne: Schon beim Lesen der großen Textmengen wird dem System mitgeteilt, welche Textstellen als vorbildlich gelten und welche nicht. Das Ziel ist ein System, das erwünschtes Verhalten nicht nachträglich aufgesetzt bekommt, sondern von Beginn an mitlernt.
Warum Nachbesserung am Ende oft nicht hält
Die übliche Reihenfolge hat einen bekannten Schwachpunkt. Das Vortraining verschlingt fast die gesamte Rechenzeit und formt praktisch alles, was das System kann. Die Nachbearbeitung ist im Vergleich winzig. Fachleute vergleichen sie deshalb gern mit einer dünnen Lackschicht über einem sehr großen Bauwerk.
Diese Schicht lässt sich abkratzen. Es ist mehrfach gezeigt worden, dass ein paar hundert gezielte Übungsbeispiele die eingebauten Schutzregeln eines Modells wieder aushebeln können. Auch geschickt formulierte Anfragen umgehen sie teilweise. Der Grund: Das Wissen, wie man eine Bombenbauanleitung schreibt, steckt weiter im Modell. Nur die Bereitschaft, es auszugeben, wurde oberflächlich gedämpft.
Alignment-Vortraining greift eine Ebene tiefer an. Wenn schädliche Inhalte schon während der ersten Lernphase als abzulehnend markiert sind, prägt sich das in dieselben Strukturen ein wie das übrige Wissen. Für Anbieter ist das auch wirtschaftlich interessant, weil Gesetze wie die europäische KI-Verordnung Sicherheitsnachweise verlangen. Ein Modell, dessen Verhalten sich schwer wieder aufbrechen lässt, ist leichter zu verantworten.
Bewertete Texte statt bloß gelesener Texte
Technisch bleibt die Grundaufgabe gleich: Das System sagt immer das nächste Wortstück voraus. Neu ist, dass die Trainingstexte eine Bewertung mitbringen. Ein einfacher Ansatz setzt vor jeden Textabschnitt eine unsichtbare Markierung, etwa “vorbildlich” oder “problematisch”. Das Modell lernt beide Sorten kennen, verknüpft aber das schlechte Verhalten mit der Warnmarkierung. Im Betrieb wird dann dauerhaft die gute Markierung gesetzt.
Eine zweite Variante gewichtet die Beispiele unterschiedlich stark. Erwünschte Textstellen zählen beim Lernen mehr, unerwünschte weniger oder sogar negativ. Ein drittes Verfahren mischt von Anfang an Gespräche mit sauberen Antworten in die Rohdaten. Alle Varianten brauchen jemanden, der die Texte einordnet — meist ein kleineres Hilfsmodell, das Milliarden Dokumente automatisch sichtet.
Ein häufiger Irrtum ist, dass man dafür einfach alle heiklen Texte weglässt. Das funktioniert schlecht. Ein Modell, das Manipulation nie gesehen hat, erkennt sie später auch nicht und kann nicht davor warnen. Die Kunst liegt darin, solche Inhalte zu zeigen und gleichzeitig zu kennzeichnen.
Wo der Begriff in der Praxis auftaucht
Direkt sichtbar ist Alignment-Vortraining nicht. Man merkt es nur daran, wie ein Chatbot reagiert: ob er eine heikle Frage ruhig einordnet oder mit einem auswendig gelernten Standardsatz abblockt. Modelle mit früh eingebautem Alignment wirken in solchen Fällen oft weniger schablonenhaft.
In Nachrichten und Fachaufsätzen begegnet der Begriff vor allem, wenn Anbieter neue Modellgenerationen vorstellen. Anthropic, OpenAI und Google beschreiben in ihren technischen Berichten inzwischen regelmäßig, wie sie Trainingsdaten vorab filtern und bewerten. Auch in Debatten um offen verfügbare Modelle spielt das Thema eine Rolle: Wer die Modelldateien herunterladen kann, kann nachträgliche Schutzregeln leicht entfernen — tief verankertes Verhalten deutlich schwerer.
Abzugrenzen ist der Begriff von zwei verwandten Verfahren. Beim Feinabstimmen mit menschlichem Feedback bewerten Testpersonen fertige Antworten des Modells. Bei einem Systemprompt gibt man dem Modell im Betrieb schriftliche Verhaltensregeln mit. Beides bleibt nützlich, setzt aber nach dem Vortraining an. Alignment-Vortraining ersetzt diese Schritte nicht, es soll ihnen einen stabileren Untergrund geben.