Verifier-Modell

Programme wie ChatGPT erzeugen Text, indem sie Wort für Wort raten, was am besten passt. Dabei entstehen oft mehrere mögliche Antworten auf dieselbe Frage. Ein Verifier-Modell ist ein zweites Programm, das diese Antworten prüft und bewertet. Es schreibt also nichts Eigenes, sondern vergibt so etwas wie Noten. Man kann es sich wie einen Korrektor vorstellen, der neben dem Schreibenden sitzt. Der eine produziert Vorschläge, der andere entscheidet, welcher davon taugt.

Warum Prüfen leichter ist als Lösen

Bei vielen Aufgaben ist das Kontrollieren einer Lösung viel einfacher als das Finden. Ein Sudoku zu lösen dauert lange, das Ergebnis zu prüfen geht in einer Minute. Genau diese Lücke nutzt ein Verifier-Modell aus. Das erzeugende Modell darf ruhig zwanzig Versuche liefern, von denen achtzehn falsch sind. Solange der Verifier die zwei guten erkennt, ist das Gesamtergebnis stark.

Das ist besonders bei Mathematik, Logik und Programmcode wichtig. Dort gibt es eine eindeutig richtige Lösung, und Fehler fallen sofort auf. Untersuchungen von OpenAI haben schon 2021 gezeigt, dass Mathe-Aufgaben mit einem Verifier deutlich häufiger korrekt gelöst werden als ohne. Der Trick war nicht ein größeres Modell, sondern mehr Versuche plus eine gute Auswahl.

Ein zweiter Grund ist Sicherheit. Verifier können auch prüfen, ob eine Antwort gegen Regeln verstößt, etwa gefährliche Anleitungen enthält. Solche Prüfmodelle laufen bei vielen Anbietern im Hintergrund mit. Sie sind meistens kleiner und billiger als das eigentliche Sprachmodell, weil Bewerten weniger Aufwand ist als Erzeugen.

Vom Trainingsdatensatz zur Note

Ein Verifier wird mit Beispielen trainiert, bei denen bekannt ist, ob die Lösung stimmt. Man lässt ein Sprachmodell tausende Aufgaben bearbeiten und markiert jede Antwort als richtig oder falsch. Aus diesen markierten Paaren lernt der Verifier, typische Merkmale guter und schlechter Antworten zu erkennen. Am Ende gibt er für eine neue Antwort eine Zahl aus, etwa 0,87 als Vertrauenswert.

Man unterscheidet zwei Bauarten. Ein Ergebnis-Verifier schaut nur auf die Endlösung. Ein Prozess-Verifier bewertet dagegen jeden einzelnen Rechenschritt auf dem Weg dorthin. Die zweite Variante ist aufwendiger, weil Menschen einzelne Schritte bewerten müssen. Dafür findet sie Fehler früher und lässt sich schwerer austricksen.

Ein wichtiger Sonderfall braucht gar kein trainiertes Modell. Bei Programmcode kann man die Lösung einfach ausführen und die Tests laufen lassen. Solche harten Prüfungen sind zuverlässiger als jede Schätzung. Verifier-Modelle setzt man vor allem dort ein, wo es keinen automatischen Test gibt, etwa bei Textaufgaben oder Erklärungen.

Verifier in aktuellen Reasoning-Systemen

In den Nachrichten taucht der Begriff meist zusammen mit sogenannten Reasoning-Modellen auf. Das sind Systeme, die vor der Antwort längere Zwischenüberlegungen anstellen. Sie erzeugen mehrere Lösungswege und wählen den besten aus. Genau diese Auswahl übernimmt oft ein Verifier. Fachleute nennen das Verfahren auch Best-of-n: n Versuche erzeugen, den besten behalten.

Verifier spielen außerdem beim Training selbst eine Rolle. Ihre Bewertungen dienen als Belohnungssignal, mit dem das Hauptmodell weiter verbessert wird. In diesem Zusammenhang heißen sie häufig Reward-Modelle. Die Grenze zwischen beiden Begriffen ist unscharf: Ein Reward-Modell belohnt allgemein erwünschtes Verhalten, ein Verifier prüft konkret auf Korrektheit.

Ein verbreiteter Irrtum ist, ein Verifier garantiere richtige Antworten. Er ist selbst nur ein statistisches Modell und kann sich irren. Wenn das erzeugende System lernt, gezielt Antworten zu produzieren, die dem Verifier gefallen, ohne wirklich korrekt zu sein, spricht man von Reward Hacking. Deshalb kombiniert man Verifier möglichst mit echten Tests, etwa ausgeführtem Code oder nachgerechneten Formeln.