Reward-Modeling
Reward-Modeling ist ein Verfahren, mit dem KI-Systeme lernen, menschliche Vorlieben vorherzusagen — damit ein zweites KI-Modell anschließend genau die Antworten erzeugt, die Menschen bevorzugen würden. Es ist ein zentraler Baustein beim Training von Chatbots wie ChatGPT oder Claude.
Wenn man einem KI-Modell beibringen will, hilfreich und angenehm zu antworten, steht man vor einem Problem: Man kann nicht für jeden denkbaren Satz von Hand aufschreiben, wie gut er ist. Stattdessen zeigt man Menschen zwei Antworten auf dieselbe Frage und fragt: Welche ist besser? Ein zweites KI-Modell — das Reward-Modell — lernt aus tausenden solcher Vergleiche, wie Menschen urteilen. Es lernt also nicht, selbst Antworten zu schreiben, sondern sie zu bewerten. Diese Bewertung, ein einzelner Zahlenwert, heißt Reward, auf Deutsch: Belohnung. Das eigentliche Sprachmodell wird danach trainiert, genau diesen Zahlenwert möglichst hoch zu treiben.
Reward-Modeling als Brücke zwischen Mensch und Maschine
Ohne Reward-Modeling hat ein Sprachmodell keinen Begriff davon, was Menschen schätzen. Es kann grammatisch korrekte, sachlich richtige Sätze produzieren — und trotzdem unhöflich, weitschweifig oder gefährlich antworten. Ein numerisches Qualitätssignal fehlt dem Modell schlicht.
Das Reward-Modell löst genau dieses Problem. Es übersetzt das vage, schwer messbare Urteil « das klingt gut » in eine Zahl. Damit wird menschliches Geschmacksurteil berechenbar — und ein Trainingsverfahren kann damit arbeiten. Ohne diesen Schritt wären Chatbots deutlich schwerer auf menschliche Erwartungen auszurichten.
Reward-Modeling ist außerdem wichtig für Sicherheit. Entwickler wollen verhindern, dass ein Modell bei heiklen Fragen schädliche Antworten gibt. Indem Bewerter solche Antworten konsequent schlechter einstufen, lernt das Reward-Modell, sie niedrig zu bewerten — und das Hauptmodell lernt, sie zu vermeiden.
Vom menschlichen Vergleich zur Trainingszahl
Das Verfahren läuft in zwei Schritten ab. Zuerst sammeln Unternehmen Tausende von Paaren: zwei Antworten auf dieselbe Frage, eine davon von Menschen als besser markiert. Diese Daten heißen Präferenzdaten. Das Reward-Modell, technisch ein normales Sprachmodell mit einem zusätzlichen Bewertungskopf, wird darauf trainiert, der bevorzugten Antwort konsistent einen höheren Wert zu geben.
Im zweiten Schritt übernimmt ein Lernverfahren namens Reinforcement Learning, auf Deutsch: bestärkendes Lernen. Das Hauptmodell schreibt eine Antwort, das Reward-Modell bewertet sie sofort, und das Hauptmodell passt sich in Richtung höherer Bewertungen an. Dieser Kreislauf wiederholt sich millionenfach. Das Gesamtverfahren heißt RLHF — Reinforcement Learning from Human Feedback.
Ein bekanntes Risiko dabei ist Reward-Hacking: Das Hauptmodell findet Antworten, die das Reward-Modell hoch bewertet, die aber kein Mensch wirklich gut fände — etwa sehr lange, schmeichelhafte Texte. Das Reward-Modell ist eben nur eine Annäherung an echtes menschliches Urteil, keine perfekte Kopie davon.
Reward-Modeling in Produkten und Schlagzeilen
OpenAI hat Reward-Modeling beim Training von ChatGPT eingesetzt und das Verfahren 2022 in einem viel zitierten Forschungspapier zu InstructGPT beschrieben. Anthropic, das Unternehmen hinter dem Chatbot Claude, hat das Verfahren weiterentwickelt und kombiniert es mit einem eigenen Regelwerk für das Reward-Modell. Auch Google nutzt ähnliche Methoden für seine Gemini-Modelle.
In der Tech-Presse taucht der Begriff häufig auf, wenn über die Qualität oder die Sicherheit von Chatbots diskutiert wird. Berichte über Chatbots, die unhöflich, parteiisch oder gefährlich antworten, drehen sich oft implizit darum, dass das Reward-Modell schlecht kalibriert war — also die falschen Antworten hoch bewertet hat.
Reward-Modeling ist auch außerhalb von Sprachmodellen relevant. In der Robotik lernen Systeme durch ähnliche Bewertungsmechanismen, welche Bewegungen sicher und effizient sind. Überall dort, wo das gewünschte Verhalten schwer in Regeln zu fassen ist, aber Menschen es erkennen, wenn sie es sehen, bietet Reward-Modeling einen Ausweg.