Surrogate Verifier

Wenn ein Computerprogramm lernen soll, braucht es Rückmeldung. Bei einer Matheaufgabe ist das einfach: Man rechnet nach, und das Ergebnis stimmt oder stimmt nicht. Bei einer Frage wie „Schreibe eine höfliche Absage an einen Bewerber“ gibt es keine solche Prüfung. Hier kommt ein Surrogate Verifier ins Spiel. Das ist ein Ersatzprüfer: ein zusätzliches Programm, das eine Antwort bewertet und eine Punktzahl vergibt, obwohl niemand die eine richtige Lösung kennt. Der englische Begriff „surrogate“ bedeutet genau das – Ersatz, Stellvertreter.

Warum Ersatzprüfer überhaupt gebraucht werden

Moderne KI-Systeme werden nicht nur mit Beispieltexten trainiert. Sie werden zusätzlich darauf trainiert, gute Antworten zu geben. Dafür braucht das Training in jedem Schritt ein Urteil: War diese Antwort besser oder schlechter? Menschen könnten dieses Urteil abgeben. Bei Millionen von Antworten wäre das aber viel zu langsam und viel zu teuer.

Deshalb baut man einmal einen automatischen Prüfer und lässt ihn dann unbegrenzt oft arbeiten. Er kostet nur Rechenzeit und urteilt in Sekundenbruchteilen. Das macht Trainingsverfahren möglich, die sonst an den Kosten scheitern würden. Ganze Forschungsfelder hängen an dieser Abkürzung.

Wichtig ist die Abgrenzung zum echten Prüfer, auf Englisch „ground-truth verifier“. Der echte Prüfer weiß die Wahrheit, etwa weil ein Programmcode tatsächlich ausgeführt wird und entweder läuft oder abstürzt. Der Surrogate Verifier weiß sie nicht. Er schätzt nur, wie ein echter Prüfer wohl urteilen würde.

Wie der Ersatzprüfer zu seinem Urteil kommt

Meist ist der Surrogate Verifier selbst ein trainiertes Modell. Man zeigt ihm viele Antwortpaare, die Menschen vorher bewertet haben. Daraus lernt er, welche Merkmale gute Antworten haben. Danach kann er neue, nie gesehene Antworten einordnen. Man nennt solche Modelle auch Belohnungsmodelle, weil ihre Punktzahl die Belohnung im Training ist.

Es gibt auch einfachere Varianten. Manchmal vergleicht ein Programm die Antwort nur mit einer Musterlösung und zählt übereinstimmende Wörter. Manchmal prüft eine Checkliste, ob bestimmte Stichworte vorkommen. Und häufig setzt man ein zweites Sprachmodell als Schiedsrichter ein, das die Antwort in Textform beurteilt.

Der Haken liegt immer im gleichen Punkt: Der Prüfer misst nicht Qualität, sondern etwas, das mit Qualität zusammenhängt. Ein trainiertes System findet solche Lücken zuverlässig. Es lernt dann zum Beispiel, lange und selbstsicher klingende Antworten zu schreiben, weil der Prüfer die besser bewertet. Fachleute nennen das Reward Hacking – das Ausnutzen des Prüfers statt echter Verbesserung. Ein Vergleich: Wer nur für die Klausur lernt und die Musterlösungen auswendig kann, bekommt gute Noten ohne Verständnis.

Ersatzprüfer in Chatbots und in Benchmarks

Jeder große Chatbot ist mit Hilfe solcher Prüfer nachtrainiert worden. Sie entscheiden mit, ob ein Modell ausführlich oder knapp antwortet, ob es Rückfragen stellt und wann es eine Auskunft verweigert. Der Tonfall, den man von diesen Systemen kennt, ist zu einem großen Teil das Ergebnis dieser Bewertungen.

Auch in Ranglisten begegnet man dem Prinzip. Wenn Firmen melden, ihr neues Modell erreiche in einem Test 90 Prozent, wurde dieser Test oft von einem anderen Sprachmodell ausgewertet. Solche Zahlen sind nützlich, aber nicht neutral. Sie hängen davon ab, wie gut der Ersatzprüfer funktioniert.

In Wirtschaftsnachrichten taucht das Thema meist indirekt auf. Wenn diskutiert wird, warum ein Modell übertrieben schmeichelt oder in Tests glänzt und im Alltag enttäuscht, liegt die Ursache häufig beim Prüfer. Deshalb kombinieren Anbieter mehrere Prüfer, mischen echte menschliche Kontrollen dazu und tauschen die Prüfer regelmäßig aus.