RLHF

RLHF steht für „Reinforcement Learning from Human Feedback“, also bestärkendes Lernen aus menschlicher Rückmeldung. Gemeint ist eine Trainingsmethode für Sprachprogramme wie ChatGPT. Solche Programme lernen zuerst nur, wie Texte im Internet üblicherweise weitergehen. Danach können sie Sätze bilden, wissen aber nicht, welche Antwort für einen Menschen wirklich nützlich ist. Bei RLHF bewerten deshalb Menschen viele Antworten des Programms und sagen, welche besser ist. Das Programm wird anschließend so verändert, dass es häufiger die bevorzugten Antworten liefert.

Warum ein Sprachmodell ohne Feedback unbrauchbar wirkt

Ein Programm, das nur Texte fortsetzt, verhält sich oft seltsam. Fragt man es etwas, antwortet es vielleicht mit zehn weiteren Fragen. Das ist im Internet nämlich ein häufiges Muster, etwa in Foren oder Quizlisten. Technisch ist das korrekt, für den Nutzer aber wertlos. RLHF schließt genau diese Lücke zwischen „sprachlich plausibel“ und „hilfreich“.

Der zweite Grund ist Sicherheit. Im Trainingsmaterial aus dem Netz stehen auch Beleidigungen, Verschwörungserzählungen und Anleitungen für gefährliche Dinge. Ohne Korrektur würde ein Modell all das bereitwillig wiedergeben. Menschliche Bewerter stufen solche Antworten schlecht ein. Nach dem Training lehnt das Modell viele dieser Anfragen selbstständig ab.

RLHF gilt deshalb als einer der Gründe für den Erfolg von ChatGPT ab Ende 2022. Die zugrunde liegende Technik war vorher schon vorhanden. Erst die Feinabstimmung durch Menschen machte daraus ein Produkt, das Millionen Leute ohne Anleitung benutzen konnten.

Vom Daumen hoch zum Belohnungsmodell

Das Verfahren läuft in drei Schritten ab. Zuerst schreiben bezahlte Fachkräfte Musterantworten auf typische Fragen. Das Modell wird auf diese Beispiele trainiert und lernt so den erwünschten Antwortstil. Diesen Schritt nennt man überwachtes Feintuning.

Im zweiten Schritt erzeugt das Modell zu einer Frage mehrere Antworten. Menschen bringen diese in eine Rangfolge, von der besten bis zur schlechtesten. Aus tausenden solcher Vergleiche entsteht ein zweites Programm, das Belohnungsmodell. Seine einzige Aufgabe ist es, jede Antwort mit einer Punktzahl zu bewerten. Es ahmt also den Geschmack der menschlichen Bewerter nach.

Im dritten Schritt übt das Sprachmodell gegen dieses Belohnungsmodell. Es erzeugt Antworten, bekommt Punkte und passt sich an, um mehr Punkte zu bekommen. Ähnlich lernt ein Spieler ein Videospiel: durch Ausprobieren und Punktestand, nicht durch Auswendiglernen. Der Trick ist, dass die Punkte jetzt automatisch vergeben werden. Ohne Belohnungsmodell müsste ein Mensch jede einzelne Übungsrunde bewerten, was viel zu langsam wäre.

Grenzen, Kritik und Nachfolger

RLHF steckt heute in fast jedem bekannten Chatbot, etwa bei OpenAI, Google oder Meta. Wenn du in einer Chat-App auf Daumen hoch oder Daumen runter tippst, lieferst du selbst Rohmaterial für solches Training. Auch die typische Antwort „Dabei kann ich dir nicht helfen“ ist ein direktes Ergebnis dieses Verfahrens.

Das Verfahren hat aber klare Schwächen. Das Modell lernt, was Bewerter mögen, nicht was wahr ist. Freundlich klingende, aber falsche Antworten bekommen dadurch manchmal gute Noten. Fachleute nennen dieses Anbiedern Sycophancy. Außerdem hängt das Ergebnis von den Werten und der Herkunft der Bewerter ab, was regelmäßig zu Debatten über politische Schlagseite führt.

In den Nachrichten begegnen dir deshalb auch Alternativen. Bei Constitutional AI bewertet eine zweite KI die Antworten anhand schriftlicher Regeln, was menschliche Arbeit spart. Verfahren wie DPO kommen ganz ohne separates Belohnungsmodell aus und sind billiger. Der Grundgedanke bleibt in allen Fällen gleich: menschliche Vorlieben sollen das Verhalten der Maschine formen.