LLM-as-a-Judge

Programme wie ChatGPT schreiben Texte, die auf sehr verschiedene Weise gut oder schlecht sein können. Es gibt selten eine einzige richtige Antwort, deshalb ist die Bewertung schwierig. Früher haben Menschen zwei Antworten gelesen und entschieden, welche besser ist. Das ist teuer und dauert lange. Bei LLM-as-a-Judge übernimmt ein weiteres Textprogramm diese Rolle: Es liest die Antworten, vergleicht sie und begründet, welche es für besser hält. LLM steht dabei für Large Language Model, also ein großes Sprachmodell, das auf riesigen Textmengen trainiert wurde.

Warum Firmen Menschen als Prüfer ersetzen

Wer ein KI-Produkt entwickelt, muss dauernd testen. Jede kleine Änderung am Modell oder an der Anweisung kann die Qualität verbessern oder verschlechtern. Ohne Messung merkt man das gar nicht. Menschliche Prüfer kosten aber schnell mehrere Euro pro bewerteter Antwort. Bei zehntausend Testfällen wird das unbezahlbar.

Ein Modell als Bewerter kostet dagegen Bruchteile eines Cents pro Fall. Es arbeitet rund um die Uhr und liefert Ergebnisse in Minuten. Dadurch kann ein Team mehrmals täglich prüfen, ob eine Änderung geholfen hat. Diese schnelle Rückmeldung ist der eigentliche Grund für die Beliebtheit des Verfahrens.

Wichtig ist trotzdem: Das Ziel bleibt die Zufriedenheit echter Menschen. Ein Modellurteil ist nur ein Ersatzmaß. Gute Teams prüfen deshalb regelmäßig, ob die Urteile des Modells noch mit denen menschlicher Tester übereinstimmen. Weichen sie stark ab, ist der ganze Testaufbau wertlos.

Vom Bewertungsbogen zum Urteil

In der Praxis bekommt das bewertende Modell eine genaue Anweisung. Darin stehen die Frage, die zu prüfende Antwort und die Kriterien. Typische Kriterien sind Richtigkeit, Vollständigkeit, Verständlichkeit und Höflichkeit. Oft wird zusätzlich eine Musterlösung mitgeliefert. Das Modell soll dann eine Note von 1 bis 5 vergeben und kurz begründen.

Verbreitet ist auch der direkte Vergleich: Das Modell sieht zwei Antworten und sagt, welche besser ist. Solche Paarvergleiche sind zuverlässiger als absolute Noten, weil ein Vergleich leichter fällt als eine abstrakte Punktzahl. Aus vielen Paarvergleichen lässt sich eine Rangliste berechnen, ähnlich wie beim Schach.

Das Verfahren hat bekannte Schwächen. Modelle bevorzugen oft die Antwort, die zuerst steht, deshalb dreht man die Reihenfolge und wertet beide Durchläufe. Sie bevorzugen außerdem lange Antworten mit vielen Aufzählungspunkten, auch wenn diese nichts Zusätzliches sagen. Und ein Modell erkennt seinen eigenen Stil wieder und bewertet ihn milder. Wer GPT-4 sowohl antworten als auch bewerten lässt, misst also teilweise sich selbst.

Ranglisten, Chatbots und Prüfberichte

Am sichtbarsten ist das Verfahren in öffentlichen Ranglisten für Sprachmodelle. Dort treten Modelle gegeneinander an, und ein Teil der Urteile stammt von anderen Modellen. Wenn in den Nachrichten steht, ein neues Modell habe ein anderes überholt, steckt oft eine solche automatische Bewertung dahinter. Ein Blick darauf, wer bewertet hat, lohnt sich fast immer.

Auch in Unternehmen läuft das im Hintergrund. Ein Versicherer mit einem Kundenservice-Chatbot lässt Stichproben der Gespräche automatisch benoten. Ein Bewertungsmodell prüft dann, ob die Antwort zur Police passte und ob sie freundlich war. Auffällige Fälle landen bei einem Menschen. Dieselbe Technik steckt in vielen Werkzeugen, die als KI-Monitoring oder Evaluation verkauft werden.

Verwandt ist die Idee der Wächtermodelle, die Antworten vor dem Versand auf gefährliche oder verbotene Inhalte prüfen. Der Unterschied liegt im Zweck: Ein Wächter blockiert, ein Judge benotet. Beide zeigen aber denselben Trend. KI-Systeme kontrollieren zunehmend andere KI-Systeme, und der Mensch prüft nur noch Stichproben.