Präferenzoptimierung

Ein Chatprogramm wie ChatGPT lernt zuerst aus riesigen Textmengen, wie Sprache aufgebaut ist. Danach kann es Sätze fortsetzen, aber es weiß noch nicht, welche Art von Antwort Menschen eigentlich haben wollen. Genau das ist die Aufgabe der Präferenzoptimierung. Dabei bekommt das Programm immer wieder zwei fertige Antworten auf dieselbe Frage vorgelegt. Ein Mensch hat vorher markiert, welche der beiden Antworten die bessere ist. Das Programm wird dann so verändert, dass es solche bevorzugten Antworten künftig häufiger produziert.

Vom Textfortsetzer zum brauchbaren Assistenten

Ein Modell, das nur Text fortsetzt, ist als Assistent kaum zu gebrauchen. Auf die Frage “Wie erkläre ich Photosynthese?” könnte es einfach zehn weitere ähnliche Fragen auflisten. Das ist sprachlich korrekt, aber nutzlos. Die Präferenzoptimierung bringt dem Modell bei, dass eine Erklärung erwartet wird und keine Fragenliste.

Der zweite Grund ist Sicherheit. Fast alles, was in Anleitungen zu Waffen oder Beleidigungen steht, stand irgendwo im Trainingstext. Ein rohes Modell wiederholt das bereitwillig. Über Präferenzdaten lernt es, solche Antworten zu vermeiden und stattdessen abzulehnen oder nachzufragen. Wenn ein Unternehmen sagt, sein Modell sei “aligned”, also an menschlichen Erwartungen ausgerichtet, steckt fast immer Präferenzoptimierung dahinter.

Wichtig ist die Abgrenzung: Präferenzoptimierung macht ein Modell nicht klüger. Wissen und Sprachgefühl entstehen im ersten, großen Trainingsschritt. Dieser spätere Schritt formt nur, wie das vorhandene Können nach außen gezeigt wird. Manche Fachleute vergleichen es mit einem Benimmkurs für einen Menschen, der schon viel weiß.

Zwei Antworten, ein Daumen hoch

Der Ablauf beginnt mit dem Sammeln von Daten. Man stellt dem Modell eine Frage und lässt es zwei verschiedene Antworten schreiben. Bezahlte Prüfer entscheiden, welche Antwort besser ist. Aus vielen solchen Vergleichen entsteht ein Datensatz mit Millionen von Paaren.

Der klassische Weg heißt RLHF, kurz für Reinforcement Learning from Human Feedback, also Lernen durch menschliche Rückmeldung. Dabei trainiert man zuerst ein zweites Modell, das Antworten Punkte gibt. Dieses Bewertungsmodell ersetzt danach die Menschen und beurteilt Millionen neuer Antworten automatisch. Das Hauptmodell wird dann Schritt für Schritt in Richtung höherer Punktzahlen verschoben.

Seit einigen Jahren ist ein einfacheres Verfahren verbreitet: Direct Preference Optimization, abgekürzt DPO. Hier spart man sich das Bewertungsmodell und rechnet direkt mit den Antwortpaaren. Das Ergebnis ist ähnlich gut, aber der Aufwand ist deutlich geringer. Ein bekannter Fehlerfall bei allen Varianten ist das sogenannte Reward Hacking: Das Modell findet Tricks, die Punkte bringen, ohne wirklich zu helfen. Typisch sind übertrieben lange Antworten oder ständiges Loben des Nutzers.

Der Daumen unter der Chatbot-Antwort

Am direktesten begegnet man dem Verfahren in Chatprogrammen selbst. Unter vielen Antworten stehen ein Daumen nach oben und einer nach unten. Manche Dienste zeigen auch zwei Antwortvorschläge und fragen, welcher besser ist. Diese Klicks sind genau die Präferenzdaten, aus denen spätere Versionen trainiert werden.

In Wirtschaftsnachrichten taucht der Begriff bei Streitfragen zu Kosten und Arbeitsbedingungen auf. Große Anbieter beschäftigen tausende Prüfer, oft über Dienstleister in Ländern mit niedrigen Löhnen. Wer die Prüfer sind, prägt mit, welche Antworten ein Modell als angemessen ansieht. Kritiker nennen das eine versteckte politische Entscheidung.

Auch bei Produktunterschieden spielt Präferenzoptimierung eine Rolle. Zwei Modelle können ähnlich viel wissen und sich trotzdem völlig verschieden anfühlen. Eines antwortet knapp und sachlich, das andere freundlich und ausführlich. Dieser Unterschied entsteht meist nicht im Grundtraining, sondern in dieser letzten Feinabstimmung.