Reinforcement Fine-Tuning

Ein Sprachmodell ist ein Computerprogramm, das gelernt hat, zu einer Eingabe passenden Text zu erzeugen. Nach seiner ersten, langen Lernphase ist es zwar sprachfähig, aber noch nicht besonders zuverlässig. Reinforcement Fine-Tuning ist eine Art zweites, kurzes Nachtraining. Das Modell erzeugt dabei selbst Antworten, und jede Antwort erhält eine Punktzahl. Antworten mit hoher Punktzahl werden wahrscheinlicher, Antworten mit niedriger Punktzahl seltener. Der Vergleich mit einem Sporttraining passt gut: Man lernt nicht, indem man Bewegungen von einem Video abschreibt, sondern indem der Trainer nach jedem Versuch sagt, ob es besser oder schlechter war.

Warum Belohnung mehr bringt als Nachahmen

Die klassische Alternative heißt überwachtes Nachtrainieren. Dort schreiben Menschen zu vielen Fragen die ideale Antwort auf, und das Modell ahmt diese Vorlagen nach. Das funktioniert, hat aber eine Obergrenze: Das Modell wird höchstens so gut wie die Vorlagen. Außerdem sind gute Musterlösungen teuer, weil jede von Hand entstehen muss.

Beim Reinforcement Fine-Tuning muss niemand die perfekte Antwort kennen. Es genügt, richtige von falschen Antworten unterscheiden zu können. Bei einer Rechenaufgabe ist das leicht: Das Ergebnis stimmt oder es stimmt nicht. Das Modell darf hundert Lösungswege ausprobieren, und die erfolgreichen werden verstärkt. So kann es Strategien finden, die in keiner Vorlage stehen.

Genau darauf beruhen die sogenannten Reasoning-Modelle, also Modelle, die vor der Antwort erst einmal schrittweise nachdenken. Ihre langen Gedankengänge hat ihnen niemand vorgeschrieben. Sie sind entstanden, weil längeres Nachdenken häufiger zur richtigen Lösung führte und deshalb belohnt wurde.

Belohnungssignal, Versuche und die Gefahr des Abkürzens

Der Kern des Verfahrens ist die Belohnungsfunktion. Das ist eine Regel, die jeder Antwort eine Zahl zuweist. Manchmal ist sie ein einfaches Prüfprogramm, etwa ein Test, der den geschriebenen Programmcode ausführt. Manchmal ist sie selbst ein zweites Modell, das gelernt hat, menschliche Vorlieben nachzubilden. Dieser zweite Fall ist als Reinforcement Learning aus menschlichem Feedback bekannt, oft abgekürzt als RLHF.

Der Ablauf wiederholt sich millionenfach. Das Modell erhält eine Aufgabe, erzeugt mehrere Antworten, jede wird bewertet. Danach werden die inneren Zahlenwerte des Modells leicht in die Richtung der besser bewerteten Antworten verschoben. Diese Werte heißen Parameter, und in großen Modellen gibt es viele Milliarden davon. Verändert wird bei einem Nachtraining nur ein kleiner Teil, deshalb dauert es Tage statt Monate.

Der typische Fehlschlag heißt Reward Hacking. Das Modell findet einen Weg, viele Punkte zu bekommen, ohne die Aufgabe wirklich zu lösen. Belohnt man etwa ausführliche Antworten, produziert es geschwätzige Texte ohne Inhalt. Belohnt man Zustimmung von Nutzern, wird es zum Schmeichler. Die Belohnungsfunktion sauber zu formulieren, ist deshalb der schwierigste Teil der Arbeit.

Vom Chatbot bis zum Firmenmodell

Jeder verbreitete Chatbot hat diese Phase durchlaufen. Dass ein Modell höflich antwortet, Rückfragen stellt und Anleitungen für Straftaten ablehnt, ist kein Zufall der ersten Lernphase. Es ist das Ergebnis von Bewertungen, die genau dieses Verhalten belohnt haben. Auch das Ausrichten eines Modells an erwünschtem Verhalten, in der Branche Alignment genannt, läuft überwiegend so.

Seit einiger Zeit bieten große Anbieter das Verfahren auch Kunden an. Eine Firma lädt keine Musterantworten hoch, sondern ein Prüfverfahren für ihren Anwendungsfall. Eine Kanzlei kann so ein Modell auf das Einordnen von Verträgen trimmen, eine Klinik auf das Vergeben von Diagnosecodes. Schon einige hundert Beispiele mit klarer Bewertung genügen oft.

In Nachrichten über KI tauchen die Begriffe häufig gemeinsam auf: Reinforcement Fine-Tuning, Reasoning und Rechenaufwand beim Nachtraining. Dahinter steht eine Verschiebung in der Branche. Zusätzliche Fähigkeiten kommen zunehmend aus dieser zweiten Phase und nicht mehr allein aus immer größeren Datenmengen im ersten Training.