Reinforcement Learning from Human Feedback
Reinforcement Learning from Human Feedback, kurz RLHF, ist ein Trainingsverfahren, bei dem Menschen die Antworten eines KI-Systems bewerten und das System aus diesen Bewertungen lernt. Es ist der Hauptgrund, warum moderne Chatbots hilfreich und höflich antworten statt einfach nur Text weiterzuschreiben.
Ein Sprachprogramm wie ChatGPT lernt zuerst nur eine einzige Sache: das nächste Wort in einem Text vorherzusagen. Dafür liest es riesige Mengen an Texten aus dem Internet. Danach kann es zwar flüssig formulieren, aber es weiß nicht, welche Antwort ein Mensch eigentlich hören will. Genau hier setzt Reinforcement Learning from Human Feedback an, meist mit RLHF abgekürzt. Menschen bewerten dabei verschiedene Antworten des Programms, und das Programm passt sein Verhalten an diese Bewertungen an. Aus einem Textfortsetzer wird so ein Assistent, der Fragen beantwortet, Anweisungen befolgt und heikle Bitten ablehnt.
Warum Chatbots ohne RLHF unbrauchbar wären
Ein reines Vorhersagemodell antwortet auf die Frage « Wie backe ich Brot? » gerne mit weiteren Fragen. Denn im Internet stehen solche Sätze oft in Listen ähnlicher Fragen. Technisch ist das eine gute Vorhersage, praktisch ist es nutzlos. RLHF schließt genau diese Lücke zwischen statistisch wahrscheinlich und tatsächlich hilfreich.
Der zweite Grund ist Sicherheit. Im Trainingsmaterial stehen auch Beleidigungen, Falschinformationen und gefährliche Anleitungen. Ohne Nachbearbeitung würde ein Modell all das bereitwillig reproduzieren. Über menschliche Bewertungen lernt es, solche Antworten zu vermeiden und stattdessen abzulehnen oder zu warnen.
RLHF war deshalb weniger ein technischer Durchbruch als ein Produktdurchbruch. Die zugrunde liegenden Modelle gab es teilweise schon Jahre vorher. Erst die Ausrichtung auf menschliche Erwartungen machte sie für Millionen Menschen benutzbar. Der Fachbegriff dafür lautet Alignment, also das Angleichen des Systemverhaltens an menschliche Absichten.
Belohnungsmodell und Trainingsschleife
Der Ablauf hat drei Stufen. Zuerst schreiben bezahlte Testpersonen Beispielantworten auf typische Anfragen, und das Modell lernt diesen Stil nachzuahmen. Danach erzeugt das Modell zu einer Frage mehrere unterschiedliche Antworten. Menschen sortieren diese Antworten nach Qualität, von der besten zur schlechtesten.
Aus diesen Rangfolgen entsteht ein zweites, kleineres Programm: das Belohnungsmodell. Seine einzige Aufgabe ist es, jede Antwort mit einer Punktzahl zu versehen. Es hat gelernt vorherzusagen, wie Menschen wohl geurteilt hätten. Damit kann man Millionen Antworten bewerten, ohne dass jemand sie liest. Menschliche Bewertung wäre für diese Mengen viel zu langsam und zu teuer.
In der letzten Stufe übt das Sprachmodell gegen dieses Belohnungsmodell. Es probiert Formulierungen aus und verstärkt jene, die hohe Punktzahlen bekommen. Das ist derselbe Grundgedanke wie beim Training eines Hundes mit Leckerlis. Der Haken: Das Modell kann lernen, die Punktzahl zu maximieren, statt wirklich gute Antworten zu geben. Fachleute nennen das Reward Hacking. Typische Symptome sind übertrieben lange, freundlich klingende Antworten ohne echten Inhalt.
RLHF in Produkten und in der Debatte
Jeder große Chatbot ist mit RLHF oder einem Nachfolgeverfahren nachtrainiert. Wenn dir ein Chatbot zwei Antworten zur Auswahl anbietet und fragt, welche besser ist, sammelt der Anbieter genau solche Vergleichsdaten. Auch der Daumen nach oben oder unten unter einer Antwort gehört dazu. Nutzer liefern also selbst einen Teil des Trainingsmaterials.
In den Nachrichten taucht RLHF meist im Zusammenhang mit Kritik auf. Ein Vorwurf betrifft die Arbeitsbedingungen: Ein Teil der Bewertungsarbeit wird in Ländern mit niedrigen Löhnen erledigt, teilweise mit belastenden Inhalten. Ein anderer Vorwurf betrifft Einseitigkeit, denn die Meinungen einiger tausend Bewerter prägen das Verhalten eines weltweit genutzten Systems.
Inzwischen gibt es Weiterentwicklungen. Bei Direct Preference Optimization, kurz DPO, entfällt das separate Belohnungsmodell, was das Training einfacher macht. Bei Constitutional AI bewertet eine KI die Antworten anhand schriftlich festgelegter Regeln, statt dass Menschen jede Antwort prüfen. Das Grundprinzip bleibt aber überall dasselbe: Ein Modell lernt aus Vergleichen zwischen besseren und schlechteren Antworten.