Grader

Ein Grader ist ein Programm, das die Ausgabe eines Computerprogramms bewertet und ihr eine Note oder Punktzahl gibt. Das englische Wort « to grade » heißt genau das: benoten. In der KI-Entwicklung prüft ein Grader die Antworten eines Chatbots oder eines anderen lernenden Systems. Er beantwortet eine einfache Frage: War diese Antwort gut oder schlecht? Statt eines Menschen, der Tausende Antworten durchliest, macht das eine Software in Sekunden. Man kann sich einen Grader als automatische Korrektur einer Klassenarbeit vorstellen, nur dass hier keine Schüler geprüft werden, sondern Maschinen.

Ohne Bewertung kein Fortschritt

Ein KI-System lernt nur, wenn ihm jemand sagt, was besser und was schlechter ist. Genau diese Rückmeldung liefert der Grader. Er ist damit der Maßstab, an dem sich das gesamte Training ausrichtet. Ohne ihn wüsste das System nicht, in welche Richtung es sich verändern soll.

Der zweite Grund ist schlicht die Menge. Große Anbieter testen ihre Modelle an Hunderttausenden Aufgaben, bevor eine neue Version erscheint. Menschliche Prüfer würden dafür Monate brauchen und viel Geld kosten. Ein Grader schafft dieselbe Arbeit über Nacht auf einem Server.

Daraus folgt aber ein Risiko, das Fachleute ernst nehmen. Ein System optimiert immer auf den Maßstab, den man ihm gibt, nicht auf das, was man eigentlich will. Belohnt der Grader lange Antworten, werden die Antworten lang statt gut. Dieses Ausnutzen von Schwächen im Maßstab nennt man Reward Hacking. Ein schlecht gebauter Grader macht ein Modell also nicht nur nicht besser, sondern messbar schlechter.

Von der festen Regel bis zum prüfenden Modell

Die einfachste Bauform ist ein Grader mit einer festen Regel. Bei einer Rechenaufgabe vergleicht er das Ergebnis der KI mit der hinterlegten Lösung. Stimmt es überein, gibt es einen Punkt, sonst null. Bei Programmieraufgaben lässt er den geschriebenen Code laufen und schaut, ob er die Testfälle besteht. Solche Grader sind schnell, billig und völlig eindeutig.

Schwieriger wird es bei Aufgaben ohne eine einzige richtige Lösung. Für die Zusammenfassung eines Textes oder eine höfliche Antwort an einen Kunden gibt es keinen festen Lösungsschlüssel. Hier setzt man oft ein zweites KI-Modell als Prüfer ein. Es bekommt die Aufgabe, die Antwort und eine Liste von Kriterien und vergibt darauf Punkte. Dieses Verfahren heißt LLM-as-a-Judge, also ein Sprachmodell als Richter.

Beide Bauformen haben typische Schwächen. Die feste Regel ist stur: Sie zählt eine sachlich richtige Antwort als falsch, wenn nur die Formulierung abweicht. Das prüfende Modell ist dagegen nachgiebig und bevorzugt oft selbstbewusst klingende Antworten, auch wenn sie inhaltlich falsch sind. Deshalb prüfen Entwickler ihre Grader zuerst gegen menschliche Bewertungen. Erst wenn beide Urteile weitgehend übereinstimmen, gilt der Grader als brauchbar.

Grader in Benchmarks und Entwicklerwerkzeugen

Am häufigsten begegnet man Gradern in Nachrichten über Benchmarks, also standardisierte Testreihen für KI-Modelle. Wenn eine Firma meldet, ihr Modell löse 71 Prozent einer Aufgabensammlung, hat ein Grader diese Prozentzahl berechnet. Wie streng er dabei vorgeht, entscheidet über das Ergebnis. Deshalb sind Vergleiche zwischen zwei Anbietern nur dann fair, wenn beide denselben Grader benutzt haben.

Auch in Produkten für Entwickler taucht der Begriff auf. Die großen Anbieter stellen Werkzeuge bereit, mit denen Firmen eigene Grader schreiben können. Ein Versicherer prüft damit etwa, ob sein Chatbot die richtige Tarifnummer nennt. Solche Prüfungen laufen automatisch bei jeder neuen Modellversion, ähnlich wie ein Sicherheitscheck vor dem Update.

Ein verbreiteter Irrtum ist, dass ein Grader eine objektive Wahrheit misst. Er misst nur das, was seine Entwickler in ihn hineingeschrieben haben. Wer eine Zahl aus einem Benchmark liest, sollte deshalb immer fragen, wer den Grader gebaut hat und nach welchen Kriterien er urteilt.