RLCD
RLCD ist ein Trainingsverfahren, mit dem sich das Verhalten von Sprach-KIs verbessern lässt, ohne dass Menschen Tausende Antworten bewerten müssen. Das System erzeugt dafür absichtlich jeweils eine gute und eine schlechte Antwort und lernt aus dem Unterschied.
Programme wie ChatGPT antworten nicht einfach so höflich und hilfsbereit. Man muss ihnen dieses Verhalten antrainieren. Früher taten das Menschen: Sie lasen je zwei Antworten und markierten die bessere. Aus vielen solchen Urteilen lernte das Programm, welche Art von Antwort erwünscht ist. Das ist teuer und langsam, weil jede einzelne Bewertung Arbeitszeit kostet. RLCD ist ein Verfahren, das diese Urteile automatisch erzeugt statt sie einzukaufen. Die Abkürzung steht für „Reinforcement Learning from Contrastive Distillation“, also sinngemäß Lernen aus einem absichtlich hergestellten Gegensatz.
Warum niemand Millionen Antworten von Hand bewerten will
Moderne Sprachmodelle brauchen für den Feinschliff sehr viele Vergleichsurteile. Zehntausende bis Hunderttausende sind üblich. Jedes davon von Menschen erstellen zu lassen, kostet Millionenbeträge und dauert Monate. Für große Firmen ist das machbar, für Forschungsgruppen und kleinere Anbieter oft nicht.
Dazu kommt ein Qualitätsproblem. Menschen sind müde, unaufmerksam oder uneinig darüber, was eine gute Antwort ist. Bei schwierigen Vergleichen stimmen zwei Bewerter häufig nur in etwa 70 bis 80 Prozent der Fälle überein. Die Daten sind also ohnehin verrauscht, nicht der perfekte Maßstab, für den man sie manchmal hält.
RLCD gehört zu einer Familie von Methoden, die diesen Engpass umgehen. Sie machen das Training billiger und wiederholbar. Wer eine Regel ändern will, muss nicht neue Bewerter anheuern, sondern nur eine Anweisung umschreiben und den Prozess neu laufen lassen.
Zwei Anweisungen, ein absichtlicher Gegensatz
Der Trick steckt in der Art, wie die Trainingsbeispiele entstehen. Man nimmt eine Frage und lässt dieselbe KI zweimal antworten. Vorher gibt man ihr aber zwei gegensätzliche Anweisungen mit. Einmal lautet sie sinngemäß: Antworte hilfreich und respektvoll. Beim zweiten Mal: Antworte unhöflich und ausweichend.
Das Ergebnis sind zwei Antworten, von denen man ohne Nachprüfen weiß, welche die bessere sein dürfte. Das Bewertungsurteil ist sozusagen schon eingebaut, bevor der Text überhaupt existiert. Aus vielen solchen Paaren trainiert man dann ein zweites, kleineres Modell. Dieses Bewertungsmodell lernt, guten von schlechtem Text zu unterscheiden, und dient anschließend als automatischer Korrektor für das eigentliche Sprachmodell.
Der Unterschied zu einem verwandten Ansatz ist wichtig. Bei anderen Verfahren erzeugt man zwei ganz normale Antworten und lässt eine KI danach entscheiden, welche besser ist. Dieses Urteil ist oft knapp und unsicher. RLCD stellt den Gegensatz stattdessen vorher her, wodurch die beiden Antworten deutlich weiter auseinanderliegen. Das Signal ist dadurch klarer, und das Bewertungsmodell lernt schneller die richtige Unterscheidung.
Wo die Methode im Alltag auftaucht
Direkt begegnet man RLCD nie. Es ist ein Schritt in der Produktion, vergleichbar mit einem Verfahren in der Fabrik, das man dem fertigen Gerät nicht ansieht. Spürbar wird es indirekt: Ein Chatbot, der auf eine provokante Frage ruhig reagiert oder eine gefährliche Bitte freundlich ablehnt, hat solches Training hinter sich.
In Nachrichten und Fachartikeln taucht der Begriff meist im Umfeld von Open-Source-Modellen auf. Gruppen, die keine großen Budgets für menschliche Bewerter haben, setzen auf automatisch erzeugte Trainingsdaten. Auch Modelle von Meta und anderen großen Anbietern nutzen inzwischen teilweise synthetische Vergleichsdaten, also selbst erzeugte statt eingekaufte.
Ein häufiger Irrtum: Das Verfahren macht die KI nicht klüger. Es verändert nur, wie sie sich verhält und in welchem Ton sie antwortet. Wissen und Denkfähigkeit stammen aus dem viel früheren Haupttraining. Und es gibt eine bekannte Schwäche. Wenn die KI ihre eigenen Trainingsdaten erzeugt, kann sie ihre eigenen blinden Flecken nicht bemerken. Fehler, die sie schon hat, verstärken sich unter Umständen, statt zu verschwinden.