Eval

Ein Eval ist eine Prüfung für ein Computerprogramm, das selbstständig Antworten erzeugt. Man legt eine Sammlung von Aufgaben an, bei denen die richtige Lösung schon bekannt ist. Dann lässt man das Programm alle Aufgaben bearbeiten und zählt, wie oft es richtig liegt. Das Ergebnis ist meist eine einzige Zahl, zum Beispiel 78 Prozent gelöste Aufgaben. Der Begriff ist die Kurzform des englischen Wortes evaluation, also Bewertung. Im Deutschen sagt man auch Evaluation, in der Branche hat sich aber die kurze Form durchgesetzt.

Warum Zahlen mehr wert sind als Bauchgefühl

Ein Programm, das Texte schreibt, wirkt fast immer überzeugend. Die Sätze sind flüssig, die Rechtschreibung stimmt, der Ton passt. Ob der Inhalt stimmt, sieht man dem Text nicht an. Genau deshalb braucht man Messungen statt Eindrücke.

Für Unternehmen ist das eine Geldfrage. Wer ein KI-System in einen Kundenservice einbaut, muss vorher wissen, wie oft es falsche Auskünfte gibt. Ein Fehler in fünf Prozent der Fälle klingt wenig. Bei einer Million Anfragen im Monat sind das 50.000 falsche Auskünfte. Ohne Eval bemerkt man so etwas erst durch Beschwerden.

Evals sind außerdem die Währung, in der die Branche über Fortschritt spricht. Wenn eine Firma ein neues Modell vorstellt, zeigt sie fast immer eine Tabelle mit Testergebnissen im Vergleich zur Konkurrenz. Auch Aktienkurse reagieren auf solche Zahlen. Man sollte sie deshalb lesen können, statt sie nur zu glauben.

Vom Aufgabenkatalog zur Prozentzahl

Der Aufbau ähnelt einer Klassenarbeit mit Lösungsblatt. Zuerst sammelt man Aufgaben, oft mehrere tausend. Zu jeder Aufgabe gehört die erwartete Antwort. Das Modell bearbeitet alle Aufgaben ohne Hilfe, und ein Skript vergleicht jede Antwort mit der Lösung.

Bei Multiple-Choice-Fragen ist der Vergleich einfach: A oder nicht A. Schwierig wird es bei freien Texten, denn dieselbe Aussage lässt sich auf hundert Arten formulieren. Hier arbeitet man mit zwei Auswegen. Entweder Menschen bewerten die Antworten, was gründlich, aber langsam und teuer ist. Oder ein zweites KI-Modell übernimmt die Bewertung, was schnell ist, aber eigene Fehler mitbringt.

Der größte Fallstrick heißt Kontamination. Modelle lernen aus riesigen Textmengen aus dem Internet. Liegen die Testaufgaben samt Lösungen dort öffentlich herum, hat das Modell sie beim Lernen vielleicht schon gesehen. Dann misst der Test Auswendiglernen statt Können. Deshalb halten manche Anbieter Teile ihrer Aufgaben bewusst geheim.

Bekannte Testreihen und was sie in News bedeuten

Einige Testreihen tauchen in Meldungen immer wieder auf. MMLU prüft Schul- und Universitätswissen aus vielen Fächern. GSM8K enthält Textaufgaben aus der Mathematik. SWE-bench lässt Modelle echte Fehler in Programmcode reparieren. Wer solche Namen in einer Pressemitteilung liest, weiß nun, dass dahinter feste Aufgabensammlungen stecken.

Daneben gibt es Ranglisten, bei denen Menschen zwei anonyme Antworten vergleichen und die bessere wählen. Aus vielen solchen Duellen entsteht eine Punktzahl, ähnlich wie beim Schach. Das misst weniger das Fachwissen als den subjektiven Eindruck.

In der Praxis bauen Firmen zusätzlich eigene Evals mit Aufgaben aus ihrem Alltag. Eine Versicherung testet mit echten Kundenfragen, ein Onlineshop mit Produktbeschreibungen. Solche internen Tests sagen mehr aus als jede öffentliche Rangliste. Und bei Werbezahlen lohnt sich Skepsis: Ein Vorsprung von einem Prozentpunkt liegt oft schon im Bereich zufälliger Schwankungen.