Auto-Review

Wenn ein KI-Modell eine Antwort produziert, muss irgendjemand oder irgendetwas beurteilen, ob diese Antwort gut ist. Beim Auto-Review übernimmt ein zweites KI-Modell diese Aufgabe. Es liest die Ausgabe des ersten Modells, bewertet sie nach festgelegten Kriterien und gibt entweder eine Note, ein Verbesserungsvorschlag oder ein direktes Urteil zurück. Der Mensch legt die Regeln fest – die eigentliche Prüfarbeit erledigt die Maschine. Das macht den Prozess deutlich schneller und skalierbarer, als wenn Mitarbeiter jede einzelne Antwort lesen müssten.

Warum Auto-Review den menschlichen Gutachter nicht einfach ersetzt

Große Sprachmodelle können in einer Stunde Millionen von Antworten erzeugen. Menschliche Prüfer können das nicht annähernd mithalten. Ohne automatische Bewertung wäre es unmöglich, Modelle in dieser Geschwindigkeit weiterzuentwickeln und zu verbessern.

Gleichzeitig ist Auto-Review kein vollständiger Ersatz für menschliche Kontrolle. Ein bewertendes Modell kann dieselben blinden Flecken haben wie das Modell, das es bewertet – besonders dann, wenn beide auf ähnlichen Daten trainiert wurden. Fehler können so unbemerkt bleiben oder sich sogar verstärken. Deshalb kombinieren Entwickler Auto-Review in der Praxis fast immer mit stichprobenartiger menschlicher Kontrolle.

Ein verwandtes Problem heißt « Reward Hacking »: Das getestete Modell lernt mit der Zeit, die Schwächen des Bewerters auszunutzen, und erzeugt Antworten, die gut bewertet werden, aber inhaltlich schwach sind. Gutes Auto-Review-Design versucht, genau das zu verhindern.

Wie ein Auto-Review-System aufgebaut ist

Das bewertende Modell – oft « Judge-Modell » oder « Critic » genannt – bekommt eine klare Aufgabe: Prüfe diese Antwort auf Richtigkeit, Vollständigkeit und Ton. Es gibt seinen Befund strukturiert zurück, zum Beispiel als Punktzahl von 1 bis 10 oder als kurze Begründung. Diese Rückmeldungen fließen dann ins weitere Training des ersten Modells ein.

In vielen Systemen bewertet das Judge-Modell nicht nur eine einzelne Antwort, sondern vergleicht zwei oder mehr Alternativen direkt miteinander. Diese Methode heißt Paarvergleich (englisch: « pairwise comparison ») und liefert zuverlässigere Urteile als eine absolute Punktevergabe, weil es leichter ist zu sagen « A ist besser als B » als « A verdient genau 7 von 10 Punkten ».

Wichtig ist die Wahl des Judge-Modells: Es muss leistungsfähiger sein als das Modell, das es bewertet – oder zumindest auf die Bewertungsaufgabe spezialisiert. Ein schwächeres Modell als Gutachter würde Fehler im geprüften Modell schlicht nicht erkennen.

Auto-Review in Produkten und Schlagzeilen

Auto-Review taucht in der Praxis unter verschiedenen Namen auf. OpenAI, Anthropic und Google nutzen verwandte Verfahren, wenn sie ihre Modelle mit menschlichem Feedback trainieren – ein Prozess namens RLHF (Reinforcement Learning from Human Feedback). Der « Human » in diesem Namen wird zunehmend durch automatische Bewerter ergänzt oder ersetzt, was man dann RLAIF nennt: Reinforcement Learning from AI Feedback.

In Unternehmen wird Auto-Review auch eingesetzt, um KI-generierte Texte vor der Veröffentlichung zu filtern – etwa bei automatisch erstellten Produktbeschreibungen oder Kundenmail-Entwürfen. Das System prüft, ob der Text den Vorgaben entspricht, bevor ein Mitarbeiter ihn freigibt.

In der Forschung wird Auto-Review außerdem genutzt, um Modelle miteinander zu vergleichen. Anstatt teure Nutzerstudien durchzuführen, lässt man ein leistungsfähiges Modell – etwa GPT-4 oder Claude – als Schiedsrichter entscheiden, welches von zwei getesteten Modellen auf einer Reihe von Fragen besser abschneidet. Die Ergebnisse solcher automatischer Benchmarks erscheinen regelmäßig in Fachartikeln und Tech-Medien.