RLAIF
RLAIF ist ein Trainingsverfahren, bei dem ein KI-Programm die Antworten eines anderen KI-Programms bewertet und dadurch dessen Verhalten formt. Es ersetzt die teure Bewertungsarbeit menschlicher Testpersonen weitgehend durch automatische Urteile.
Ein Chatprogramm wie ChatGPT wird nicht nur mit Texten aus dem Internet gefüttert. Nach dieser ersten Lernphase folgt eine zweite, in der ihm beigebracht wird, welche Antworten erwünscht sind und welche nicht. Lange Zeit haben dafür bezahlte Testpersonen jeweils zwei Antworten verglichen und die bessere markiert. RLAIF ersetzt diese Menschen durch ein zweites Computerprogramm, das die Bewertung übernimmt. Die Abkürzung steht für „Reinforcement Learning from AI Feedback“, also sinngemäß: Lernen durch Belohnung, wobei die Belohnung von einer Maschine kommt. Das Ergebnis ist dasselbe Prinzip wie zuvor, nur ohne den Engpass menschlicher Arbeitszeit.
Der Engpass bei bezahlten Bewertern
Menschliche Bewertung ist langsam und teuer. Ein einziges großes Sprachmodell braucht in dieser Phase Hunderttausende von Vergleichen. Jeder davon kostet Geld und dauert Minuten, weil eine Person zwei oft lange Texte lesen und abwägen muss. Für Unternehmen ist das einer der größten Posten in der Endphase der Entwicklung.
Dazu kommt ein Qualitätsproblem. Menschen ermüden, sind unaufmerksam und bewerten nach unterschiedlichen Maßstäben. Zwei Personen können dieselbe Antwort gegensätzlich einordnen. Ein bewertendes Programm ist dagegen immer gleich streng und arbeitet rund um die Uhr weiter.
Wichtig ist die Abgrenzung zum älteren Verfahren RLHF, bei dem das H für „Human“ steht, also für menschliche Rückmeldung. RLAIF ist kein Gegenentwurf, sondern eine Weiterentwicklung. In der Praxis mischen Anbieter beides: Menschen legen die Regeln fest, die Maschine wendet sie millionenfach an.
Wenn ein Modell das andere benotet
Zuerst schreibt das zu trainierende Modell zu einer Frage zwei verschiedene Antworten. Ein zweites Modell, oft „Richter“ genannt, bekommt beide vorgelegt und soll die bessere auswählen. Damit es nicht willkürlich entscheidet, gibt man ihm eine schriftliche Regelsammlung mit. Darin steht zum Beispiel: bevorzuge die Antwort, die hilfreicher ist, keine Beleidigungen enthält und keine Anleitung zu gefährlichen Handlungen gibt.
Aus vielen solcher Urteile entsteht ein Belohnungsmodell. Das ist ein drittes Programm, das jeder Antwort eine Punktzahl gibt. Das eigentliche Modell wird anschließend so lange angepasst, bis es möglichst hohe Punktzahlen erreicht. Man kann sich das wie Vokabeltraining mit sofortiger Rückmeldung vorstellen: Was Punkte bringt, wird häufiger, was Punkte kostet, seltener.
Ein bekannter Fallstrick ist die Selbstbestätigung. Wenn Richter und Schüler dasselbe Grundmodell sind, belohnt sich das System für seine eigenen Vorlieben. Beliebt sind dann etwa besonders lange oder höflich klingende Antworten, ohne dass der Inhalt besser wird. Fachleute nennen das Reward Hacking: Das Modell optimiert die Punktzahl statt die eigentliche Qualität.
RLAIF in aktuellen Chatbots und Meldungen
Am sichtbarsten ist das Verfahren bei Anthropic, dem Unternehmen hinter dem Chatbot Claude. Dort heißt die zugrunde liegende Regelsammlung „Constitution“, also Verfassung, weshalb man auch von Constitutional AI spricht. Diese Regeln sind öffentlich einsehbar. Sie erklären, warum Claude bestimmte Anfragen ablehnt und dabei begründet, statt nur zu blocken.
In Nachrichten über KI taucht RLAIF meist im Zusammenhang mit Kosten und Tempo auf. Wenn ein Anbieter in wenigen Monaten eine neue Modellversion vorstellt, steckt oft automatisierte Bewertung dahinter. Auch frei verfügbare Modelle kleinerer Teams nutzen die Technik, weil sich diese Gruppen keine großen Bewerterteams leisten können.
Für Anleger und Beobachter ist ein Punkt entscheidend: Die menschliche Kontrolle verschwindet nicht, sie verschiebt sich. Wer die Regelsammlung schreibt, bestimmt indirekt das Verhalten von Millionen Gesprächen. Genau darüber wird derzeit diskutiert, auch mit Blick auf Regulierung wie den EU AI Act.