Judge-Modell

Wenn ein Computerprogramm Texte schreibt, muss jemand prüfen, ob die Antworten gut sind. Lange machten das Menschen: Sie lasen zwei Antworten und sagten, welche besser war. Das ist teuer und dauert lange. Ein Judge-Modell übernimmt diese Rolle. Es ist selbst ein Textprogramm, bekommt aber nicht die Aufgabe, eine Antwort zu schreiben, sondern eine fremde Antwort zu benoten. Der Name kommt vom englischen Wort für Richter.

Warum Bewerten teurer ist als Antworten

Ein modernes Sprachprogramm wird an Millionen von Beispielantworten gemessen. Würde man jede davon von Hand prüfen, bräuchte man ganze Hallen voller Testleser. Ein Judge-Modell erledigt dieselbe Arbeit in Minuten und für einen Bruchteil der Kosten. Genau deshalb ist es in den letzten Jahren zum Standardwerkzeug geworden.

Der zweite Grund ist die Entwicklung selbst. Firmen ändern ihre Modelle fast täglich. Nach jeder Änderung muss man wissen, ob das Ergebnis besser oder schlechter geworden ist. Menschliche Tests wären dafür viel zu langsam. Automatische Bewertung erlaubt es, eine Änderung morgens einzubauen und mittags zu wissen, ob sie etwas gebracht hat.

Es gibt aber ein Risiko, das man kennen muss. Wenn eine KI die andere benotet, kann sich ein Fehler verdoppeln. Hält das Judge-Modell etwas Falsches für richtig, wird dieser Irrtum im Training weitergegeben. Deshalb prüfen Firmen regelmäßig, ob die Urteile des Judge-Modells mit denen echter Menschen übereinstimmen.

Was in der Bewertungsanweisung steht

Ein Judge-Modell ist meistens ein ganz normales Sprachprogramm. Der Unterschied liegt in der Anweisung, die es bekommt. Diese Anweisung enthält die ursprüngliche Frage, die zu prüfende Antwort und eine Liste von Kriterien. Typisch sind Punkte wie: Ist die Antwort sachlich richtig? Beantwortet sie die Frage? Ist sie verständlich? Am Ende soll das Modell eine Note von eins bis fünf ausgeben oder eine kurze Begründung schreiben.

Häufig wird nicht eine einzelne Antwort benotet, sondern es werden zwei verglichen. Das Modell bekommt Antwort A und Antwort B und soll sagen, welche besser ist. Vergleiche sind zuverlässiger als absolute Noten, weil ein Maßstab fehlt, wenn man nur eine Antwort sieht. Aus vielen solchen Vergleichen lässt sich dann eine Rangliste bilden, ähnlich wie bei Schachwertungen.

Judge-Modelle haben typische Schwächen, die gut untersucht sind. Sie bevorzugen längere Antworten, auch wenn diese nicht mehr Inhalt haben. Sie wählen oft die Antwort, die an erster Stelle steht. Und sie mögen Texte, die klingen wie ihre eigenen. Gegen diese Verzerrungen hilft ein einfacher Trick: Man stellt dieselbe Frage zweimal und tauscht dabei die Reihenfolge der Antworten. Nur wenn das Urteil beide Male gleich ausfällt, zählt es.

Judge-Modelle in Ranglisten und Produkten

Am sichtbarsten sind Judge-Modelle in den großen Ranglisten für KI-Systeme. Wenn in den Nachrichten steht, ein neues Modell habe in einem Test bestimmte Punkte erreicht, steckt oft ein Judge-Modell dahinter. Manche Tests kombinieren beides: Ein Teil der Fragen wird automatisch bewertet, ein kleiner Teil zur Kontrolle von Menschen.

Auch in Produkten arbeiten solche Prüfer mit, oft unsichtbar. Ein Kundendienst-Chatbot kann seine eigene Antwort vor dem Absenden von einem zweiten Modell prüfen lassen. Fällt die Bewertung schlecht aus, wird die Antwort verworfen oder an einen Menschen weitergeleitet. Firmen, die KI im Kundenkontakt einsetzen, bauen solche Kontrollschleifen fast immer ein.

Ein häufiger Irrtum ist, ein Judge-Modell sei besonders objektiv, weil es eine Maschine ist. Das stimmt nicht. Es urteilt nach dem, was es im Training gesehen hat, und übernimmt dessen Vorlieben. Es ist ein schnelles und billiges Werkzeug, aber kein neutraler Schiedsrichter.