Direct Preference Optimization

Ein Sprachprogramm wie ChatGPT lernt zunächst nur, plausible Fortsetzungen von Texten zu erzeugen. Es weiß dabei nicht, welche Antwort Menschen tatsächlich hilfreich oder höflich finden. Um ihm das beizubringen, sammelt man Vergleiche: Zu derselben Frage liegen zwei Antworten vor, und eine Person markiert die bessere. Direct Preference Optimization ist ein Rechenverfahren, das genau solche Paare direkt in die Einstellungen des Programms einarbeitet. Der Name bedeutet übersetzt etwa „direkte Optimierung auf Vorlieben“ — direkt deshalb, weil kein Zwischenschritt über ein zweites Programm nötig ist. Abgekürzt wird es meist DPO.

Warum DPO das Feintuning demokratisiert hat

Vor DPO war der übliche Weg ein Verfahren namens RLHF, also bestärkendes Lernen aus menschlicher Rückmeldung. Dabei trainiert man zuerst ein eigenes Bewertungsmodell, das Antworten Punkte gibt. Danach übt das Sprachmodell in vielen Runden, möglichst hohe Punktzahlen zu erreichen. Dieser Aufbau ist heikel: Man jongliert mit drei Modellen gleichzeitig, und das Training kippt leicht in unbrauchbare Ergebnisse.

DPO wurde 2023 an der Universität Stanford vorgestellt und kommt mit einem einzigen Trainingslauf aus. Es braucht kein Bewertungsmodell und keine Runden aus Ausprobieren und Belohnen. Damit sinkt der Rechenaufwand deutlich, und der Ablauf ähnelt dem gewöhnlichen Training eines Modells. Kleinere Firmen und Forschungsgruppen können ihre Modelle so an eigenen Daten ausrichten, ohne ein spezialisiertes Team dafür zu haben.

Das erklärt, warum DPO in kurzer Zeit zum Standard für offene Modelle wurde. Viele frei verfügbare Modelle tragen im Namen den Zusatz „DPO“ oder „instruct“ und wurden auf diese Weise nachbearbeitet. Ohne solch eine Nachbearbeitung wirken Modelle oft wortreich, aber unbrauchbar.

Der Trick mit dem Referenzmodell

Ein Sprachmodell vergibt für jede mögliche Antwort intern eine Art Wahrscheinlichkeit. DPO nutzt genau diese Zahlen. Für jedes Antwortpaar wird die Einstellung des Modells so verschoben, dass die bevorzugte Antwort wahrscheinlicher wird und die abgelehnte unwahrscheinlicher. Die entscheidende Erkenntnis der Forscher war: Das Bewertungsmodell aus RLHF steckt rechnerisch bereits in diesen Wahrscheinlichkeiten drin. Man kann es daher weglassen und trotzdem dasselbe Ziel verfolgen.

Dabei gibt es eine Gefahr. Wenn man das Modell zu stark in eine Richtung zieht, verlernt es sein allgemeines Sprachwissen. Deshalb behält DPO eine eingefrorene Kopie des ursprünglichen Modells als Referenz. Das Training bestraft es, wenn sich das Modell zu weit von dieser Kopie entfernt. Ein Regler namens Beta legt fest, wie streng diese Bremse wirkt.

Ein Vergleich hilft: Ein Schüler soll seinen Aufsatzstil verbessern und bekommt dazu Paare von Formulierungen, gute und schlechte. Er darf seinen Stil anpassen, aber nicht die Rechtschreibung vergessen, die er vorher konnte. Die eingefrorene Kopie ist sein alter Aufsatz als Maßstab. Ein typischer Irrtum ist übrigens, DPO bringe dem Modell neues Wissen bei. Es verschiebt nur, welche der ohnehin schon möglichen Antworten bevorzugt wird.

DPO in Modellkarten und Produktmeldungen

Am häufigsten begegnet einem der Begriff in den technischen Beschreibungen offener Modelle, etwa auf der Plattform Hugging Face. Dort steht dann, ein Modell sei per DPO auf einem Datensatz mit Präferenzpaaren nachtrainiert worden. Auch in Fachmeldungen über neue Modellversionen taucht das Kürzel regelmäßig auf, meist neben Angaben zur Größe und zum Trainingsaufwand.

Merken lässt sich das Ergebnis im Alltag ohne jedes Fachwissen. Ein per DPO nachbearbeiteter Chatbot antwortet knapper, strukturierter und lehnt heikle Anfragen freundlich ab. Genau dieses Verhalten stammt nicht aus den Texten des Internets, sondern aus den Vergleichen, die Menschen vorher bewertet haben. Inzwischen gibt es zahlreiche Weiterentwicklungen mit Namen wie ORPO oder KTO, die dasselbe Grundprinzip abwandeln.