Human Evaluation

Wenn ein Programm einen Text schreibt, muss irgendjemand entscheiden, ob dieser Text gut ist. Bei einer Rechenaufgabe geht das automatisch: Ergebnis richtig oder falsch. Bei einer Zusammenfassung, einer Übersetzung oder einem Ratschlag gibt es keine einzige richtige Lösung. Human Evaluation ist der Ansatz, in solchen Fällen echte Menschen urteilen zu lassen. Sie lesen die Ausgaben und vergeben Noten, oder sie vergleichen zwei Versionen und sagen, welche besser ist. Das Ergebnis ist eine Zahl, mit der Entwickler ihre Systeme vergleichen können.

Warum Testfragen mit Musterlösung nicht ausreichen

Der übliche Weg, KI-Systeme zu messen, sind sogenannte Benchmarks. Das sind feste Sammlungen von Aufgaben mit hinterlegten Musterlösungen, oft Multiple-Choice-Fragen. Solche Tests laufen in Minuten durch und kosten fast nichts. Ihr Problem: sie messen nur, was sich eindeutig abhaken lässt.

Ein System kann in solchen Tests stark abschneiden und im Alltag trotzdem unangenehm sein. Es antwortet umständlich, ignoriert die Frage oder erfindet Details. Genau diese Eigenschaften entscheiden aber darüber, ob Menschen ein Produkt benutzen wollen. Nur ein Mensch merkt zuverlässig, dass eine Antwort zwar formal korrekt, aber am Thema vorbei ist.

Ein zweiter Grund ist Verunreinigung der Testdaten. Weil Benchmarks öffentlich im Internet stehen, können ihre Fragen in die Trainingsdaten eines Modells geraten. Dann hat das Modell die Antworten schon einmal gesehen, und der Test misst Erinnerung statt Können. Frische Urteile von Menschen lassen sich auf diese Weise nicht austricksen.

Vom Bewertungsbogen zum Punktestand

Am Anfang steht ein Leitfaden, oft Guideline genannt. Darin ist festgelegt, worauf die Bewerter achten sollen: Ist die Antwort sachlich richtig? Beantwortet sie die Frage? Ist sie verständlich formuliert? Ohne solche klaren Kriterien bewertet jeder nach Gefühl, und die Ergebnisse sind unbrauchbar.

Besonders verbreitet ist der direkte Vergleich zweier Antworten. Der Bewerter sieht dieselbe Frage zweimal beantwortet, weiß aber nicht, welches System welche Antwort geliefert hat, und wählt die bessere aus. Menschen können solche Paarvergleiche viel zuverlässiger treffen als absolute Noten von eins bis fünf. Aus vielen einzelnen Duellen entsteht dann eine Rangliste, ähnlich wie bei Schachwertungen.

Damit ein Ergebnis belastbar ist, bewerten meist mehrere Personen dieselbe Antwort. Stimmen sie überein, ist das ein Zeichen für klare Kriterien. Widersprechen sie sich dauernd, war die Aufgabe schlecht gestellt. Dieser Grad an Übereinstimmung wird eigens gemessen und mit veröffentlicht. Der Preis für diese Sorgfalt ist hoch: Tausende Bewertungen von bezahlten Fachleuten kosten leicht fünfstellige Summen und brauchen Wochen.

Ranglisten, Daumen-Symbole und der Sonderfall KI als Prüfer

Am sichtbarsten begegnet man dem Prinzip in öffentlichen Vergleichsarenen. Dort stellen Besucher eine Frage, bekommen zwei anonyme Antworten und stimmen ab. Aus Millionen solcher Stimmen entstehen Ranglisten, die in Nachrichten über neue Modelle regelmäßig zitiert werden. Wenn eine Firma behauptet, ihr Modell werde von Nutzern bevorzugt, steckt fast immer eine solche Auswertung dahinter.

Auch in Chat-Programmen wird ständig bewertet. Die kleinen Daumen-Symbole unter einer Antwort sind eine vereinfachte Form von Human Evaluation. Diese Rückmeldungen fließen später in das Training ein und verschieben das Verhalten des Systems in die bevorzugte Richtung.

Weil menschliche Bewertung so teuer ist, lassen Entwickler zunehmend ein starkes KI-Modell die Antworten anderer Modelle beurteilen. Dieses Verfahren heißt LLM-as-a-Judge und ist deutlich billiger. Es hat aber blinde Flecken: solche Prüfer bevorzugen lange, selbstsichere Texte und übersehen Fehler, die sie selbst machen würden. Menschliche Urteile bleiben daher der Maßstab, an dem automatische Prüfer erst gemessen werden.