Evals

Ein Programm, das Texte schreibt oder Fragen beantwortet, muss irgendwie geprüft werden. Man kann nicht einfach behaupten, es sei gut. Deshalb lässt man es eine Sammlung fester Aufgaben lösen und zählt, wie viele davon richtig beantwortet werden. Genau diese Aufgabensammlungen plus Bewertungsregeln nennt man Evals, kurz für Evaluations, also Bewertungen. Das Prinzip ist dasselbe wie bei einer Klassenarbeit: alle Prüflinge bekommen dieselben Fragen, und es gibt ein Lösungsblatt. Der Unterschied ist, dass hier keine Menschen geprüft werden, sondern Software.

Warum Firmen um Testergebnisse streiten

Evals sind die einzige halbwegs objektive Währung in der KI-Branche. Wenn ein Unternehmen ein neues Modell vorstellt, zeigt es fast immer eine Tabelle mit Testwerten. Diese Zahlen entscheiden mit darüber, wer Kunden gewinnt und wer Investorengeld bekommt. Für Entwickler sind sie außerdem die Grundlage der Auswahl: Welches Modell bauen wir in unser Produkt ein?

Auch intern sind Evals unverzichtbar. Wer an einem Modell etwas ändert, will wissen, ob es besser oder schlechter geworden ist. Ohne feste Tests bleibt nur ein Bauchgefühl, und Bauchgefühl täuscht. Verbesserungen an einer Stelle verschlechtern nämlich oft eine andere. Ein Modell kann nach einer Änderung besser rechnen und gleichzeitig schlechter zusammenfassen.

Zugleich sind Evals umstritten. Ein bekanntes Problem ist Datenkontamination: Wenn die Testaufgaben im Internet stehen, landen sie beim Training möglicherweise im Lernmaterial. Dann kennt das Modell die Lösungen bereits und der Test misst nichts mehr. Deshalb halten manche Anbieter Teile ihrer Aufgaben geheim.

Vom Aufgabenblatt zur Prozentzahl

Ein Eval besteht aus drei Teilen. Erstens den Aufgaben, oft mehrere Tausend. Zweitens den erwarteten Antworten. Drittens einer Regel, die entscheidet, ob eine Antwort als richtig gilt. Am Ende steht meist eine einzige Prozentzahl.

Bei Multiple-Choice-Fragen ist die Bewertung einfach: Buchstabe stimmt oder nicht. Bei Programmieraufgaben lässt man den erzeugten Code laufen und schaut, ob er die vorgesehenen Prüfungen übersteht. Schwierig wird es bei offenen Texten, etwa bei einer Zusammenfassung. Hier gibt es keine einzige richtige Lösung.

Für solche Fälle nutzt man zwei Wege. Entweder bewerten Menschen die Antworten, was gründlich, aber langsam und teuer ist. Oder ein zweites KI-Modell übernimmt die Rolle des Korrektors. Dieses Verfahren heißt LLM-as-a-judge, also Sprachmodell als Richter. Es ist billig und schnell, aber der Richter hat eigene Vorlieben. Längere und höflicher formulierte Antworten schneiden dabei oft unverdient gut ab.

Bekannte Tests und der Blick in Produktankündigungen

In Nachrichten über neue KI-Modelle tauchen immer dieselben Namen auf. MMLU prüft Schul- und Universitätswissen aus vielen Fächern. GSM8K enthält Rechenaufgaben auf Grundschulniveau, die aber mehrere Schritte brauchen. SWE-bench lässt Modelle echte Fehler in echter Software reparieren. Wer eine solche Tabelle liest, sollte wissen: Die Anbieter wählen aus, welche Tests sie zeigen.

Ein zweiter Ort sind Ranglisten, bei denen Menschen zwei anonyme Antworten vergleichen und die bessere wählen. Aus Millionen solcher Vergleiche entsteht eine Reihenfolge, ähnlich der Elo-Wertung im Schach. Das misst weniger Wissen als den Eindruck, den eine Antwort bei Nutzern hinterlässt.

Auch außerhalb der Forschung wird evaluiert. Firmen, die einen Chatbot für ihren Kundendienst bauen, legen eigene Testsätze mit typischen Kundenfragen an. Vor jedem Update läuft dieser Test durch. Ein häufiger Irrtum ist übrigens, hohe Testwerte mit Alltagstauglichkeit zu verwechseln. Ein Modell kann Prüfungsfragen glänzend beantworten und trotzdem an der konkreten Aufgabe im Betrieb scheitern.