Evaluation (Eval)
Eine Evaluation, kurz Eval, ist ein standardisierter Test, mit dem man die Leistung eines KI-Systems messbar macht. Sie besteht aus Aufgaben mit bekannten Lösungen und einer Regel, wie die Antworten bewertet werden.
Wenn ein Unternehmen behauptet, sein neues Computerprogramm sei besonders gut, muss man das nachprüfen können. Genau dafür gibt es Evaluationen, im Fachjargon meist „Evals“ genannt. Eine Eval ist eine Sammlung von Aufgaben, bei denen die richtige Lösung bereits bekannt ist. Man lässt das Programm alle Aufgaben bearbeiten und zählt, wie viele es richtig löst. Das Ergebnis ist eine Zahl, oft ein Prozentwert, und Zahlen lassen sich vergleichen. Ohne solche Tests bliebe die Frage „ist dieses System besser als das andere?“ reine Behauptung.
Was auf dem Spiel steht, wenn niemand nachmisst
Moderne KI-Systeme entstehen nicht durch Programmieren im klassischen Sinn. Niemand schreibt Regeln hin, an die sich das System dann hält. Stattdessen lernt es aus riesigen Mengen an Beispieltexten, und was es dabei genau lernt, kann niemand direkt nachlesen. Die Entwickler wissen also selbst nicht sicher, was ihr System kann. Messen ist der einzige Weg, es herauszufinden.
Für Firmen und Anleger hängt viel an diesen Zahlen. Wenn ein Hersteller meldet, sein Modell habe einen bekannten Test von 70 auf 85 Prozent verbessert, bewegt das Aktienkurse. Auch beim Einkauf zählen Evals: Ein Krankenhaus, das eine KI zur Auswertung von Röntgenbildern kauft, will belegte Trefferquoten sehen, keine Werbeversprechen.
Evals dienen außerdem der Sicherheit. Man testet gezielt, ob ein System Anleitungen zu Waffen liefert, Personen beleidigt oder erfundene Tatsachen behauptet. Solche Tests heißen Red-Teaming, wenn Menschen absichtlich versuchen, das System zu Fehltritten zu verleiten. Auch der europäische KI-Rechtsrahmen verlangt für riskante Anwendungen dokumentierte Prüfungen.
Aufgabensammlung, Bewertungsregel, Rangliste
Eine Eval besteht aus zwei Teilen: einem Datensatz mit Aufgaben und einem Bewertungsverfahren. Bei Multiple-Choice-Fragen ist die Bewertung einfach, denn nur eine Antwort ist richtig. Der bekannte Test MMLU funktioniert so und enthält rund 16.000 Fragen aus Fächern von Jura bis Physik. Bei Programmieraufgaben lässt man den erzeugten Code einfach laufen und prüft, ob er das Richtige ausgibt.
Schwierig wird es bei offenen Aufgaben wie Zusammenfassungen oder Übersetzungen. Dort gibt es keine einzige richtige Lösung. Ein verbreiteter Ausweg: Man lässt ein zweites, starkes KI-Modell die Antworten benoten. Das nennt man LLM-as-a-Judge und ist billiger als menschliche Bewerter, aber auch fehleranfälliger. Eine Alternative sind Ranglisten, bei denen echte Nutzer zwei anonyme Antworten vergleichen und die bessere wählen.
Das größte Problem der Branche heißt Kontamination. Die Testaufgaben stehen oft frei im Internet, und aus dem Internet stammen die Trainingsdaten. Ein Modell kann die Lösungen also schon gesehen haben. Dann misst die Eval nicht Können, sondern Erinnerung. Vergleichbar wäre eine Klassenarbeit, deren Aufgaben mit Lösungen vorher im Klassenchat kursierten. Deshalb entstehen ständig neue, geheim gehaltene Testsätze.
Evals in Produktankündigungen und Firmenalltag
Jede große Modellvorstellung kommt mit Balkendiagrammen. Dort tauchen Namen wie MMLU, GPQA oder SWE-bench auf, jeweils mit Prozentwerten neben denen der Konkurrenz. Wer solche Grafiken liest, sollte skeptisch bleiben. Hersteller wählen gern die Tests aus, in denen sie gut abschneiden, und lassen unpassende weg.
In Firmen, die KI wirklich einsetzen, sehen Evals unspektakulärer aus. Ein Versicherer, der Kundenanfragen automatisch sortieren lässt, sammelt einige hundert echte Anfragen mit der korrekten Zuordnung. Diese interne Eval läuft nach jeder Änderung am System. Sinkt die Trefferquote, wird die Änderung zurückgenommen. Solche eigenen Testsätze sind meist aussagekräftiger als öffentliche Ranglisten, weil sie die tatsächliche Arbeit abbilden.
Rund um Evals ist inzwischen ein eigener Markt entstanden. Anbieter verkaufen Software zum Testen von KI-Anwendungen, und in Stellenanzeigen taucht der Begriff regelmäßig auf. Verwechseln sollte man Evaluation nicht mit Monitoring: Evals prüfen vor dem Einsatz gegen bekannte Lösungen, Monitoring beobachtet das laufende System im Betrieb.
