Evaluation

Wenn eine Firma ein neues KI-Programm veröffentlicht, behauptet sie meist, es sei besser als das bisherige. Woher will sie das wissen? Sie hat es getestet. Man legt dem Programm viele Aufgaben vor, deren richtige Lösung man bereits kennt, und zählt aus, wie oft es danebenliegt. Genau dieses systematische Prüfen nennt man Evaluation. Der Vergleich zu einer Klassenarbeit trägt hier gut: Es gibt einen festen Fragenkatalog, eine Musterlösung und am Ende eine Note.

Warum Behauptungen ohne Zahlen nichts wert sind

KI-Systeme wirken oft überzeugender, als sie sind. Ein Sprachmodell formuliert flüssig und selbstbewusst, auch wenn der Inhalt falsch ist. Ein Mensch, der ein paar Fragen stellt, lässt sich davon leicht täuschen. Erst eine strukturierte Messung über tausende Aufgaben zeigt, wo die tatsächlichen Schwächen liegen.

Für Unternehmen hängt daran viel Geld. Wer entscheidet, ob er sein Kundenservice-System auf ein neues Modell umstellt, braucht harte Vergleichszahlen. Auch Investoren schauen auf Testergebnisse, wenn sie den Wert einer KI-Firma einschätzen. Deshalb landen Evaluationsergebnisse regelmäßig in Börsennachrichten und nicht nur in Fachzeitschriften.

Es gibt außerdem eine rechtliche Seite. Die europäische KI-Verordnung verlangt für riskante Anwendungen Nachweise, dass ein System zuverlässig arbeitet. Ein Nachweis ohne Messung ist nicht möglich. Evaluation wird damit von einer freiwilligen Qualitätskontrolle zu einer Pflicht.

Testsets, Metriken und der Ablauf einer Messung

Grundlage ist ein Testset: eine Sammlung von Aufgaben samt hinterlegter richtiger Antwort. Wichtig ist, dass das Modell diese Aufgaben beim Lernen nicht gesehen hat. Sonst prüft man nur das Auswendiglernen, nicht das Können. Man trennt die Daten deshalb von Anfang an in einen Lernteil und einen Prüfteil.

Aus den Ergebnissen berechnet man Kennzahlen, sogenannte Metriken. Die einfachste ist die Trefferquote: der Anteil richtig gelöster Aufgaben. Bei Aufgaben ohne eindeutige Lösung, etwa beim Zusammenfassen eines Textes, wird es schwieriger. Dann bewerten entweder Menschen die Ausgaben oder ein zweites KI-Modell übernimmt die Rolle des Prüfers. Beide Wege haben bekannte Schwächen: Menschen sind teuer und uneinig, KI-Prüfer bevorzugen oft lange, wortreiche Antworten.

Ein häufiges Problem heißt Kontamination. Dabei sind die Testfragen versehentlich in den Lerndaten gelandet, weil beides aus dem Internet stammt. Das Modell kennt die Antworten dann bereits und erzielt Traumergebnisse, die im echten Einsatz zusammenbrechen. Aus diesem Grund entwickeln Forschungsgruppen laufend neue, geheim gehaltene Testsets.

Von Ranglisten bis zum Praxistest im Unternehmen

Am sichtbarsten sind öffentliche Ranglisten, sogenannte Leaderboards. Dort stehen Modelle verschiedener Anbieter mit ihren Punktzahlen nebeneinander. Bekannte Testsammlungen prüfen Schul- und Universitätswissen, Programmieraufgaben oder mathematisches Denken. Wenn in den Medien steht, ein Modell habe eine Prüfung bestanden, steckt fast immer so ein Test dahinter.

Daneben gibt es Vergleiche, bei denen echte Nutzer zwei anonyme Antworten sehen und die bessere wählen. Aus vielen solchen Duellen entsteht eine Rangliste ähnlich der Wertung im Schach. Solche Verfahren messen weniger das Fachwissen als den subjektiven Eindruck. Beide Perspektiven ergänzen sich, keine ersetzt die andere.

Im Berufsalltag bauen Firmen zusätzlich eigene Evaluationen. Ein Versicherer testet sein System mit hundert typischen Schadensmeldungen aus dem eigenen Archiv. Diese internen Tests sagen mehr über den konkreten Nutzen aus als jede öffentliche Rangliste. Ein verbreiteter Irrtum ist nämlich, ein Spitzenplatz im Leaderboard bedeute automatisch das beste Modell für die eigene Aufgabe. Häufig gewinnt ein kleineres, günstigeres System, weil es zum konkreten Anwendungsfall besser passt.