Controlled Evaluation
Eine Controlled Evaluation ist ein Test unter absichtlich gleichgehaltenen Bedingungen: Man verändert genau eine Sache und misst, was sich dadurch am Ergebnis ändert. In der KI-Entwicklung dient das dazu, echte Verbesserungen von Zufall und Messfehlern zu unterscheiden.
Eine Controlled Evaluation ist ein Test, bei dem man alle Bedingungen bewusst gleich hält und nur eine einzige Sache verändert. Der Name sagt genau das: „controlled“ heißt kontrolliert, „evaluation“ heißt Bewertung. Ein Beispiel aus dem Biologieunterricht: Man will wissen, ob ein Dünger Pflanzen wachsen lässt. Also stellt man zwei Gruppen von Pflanzen ins gleiche Licht, gießt sie gleich oft, und nur eine Gruppe bekommt Dünger. Wenn diese Gruppe größer wird, liegt es am Dünger und nicht am Zufall. Genau nach diesem Prinzip prüfen Entwickler, ob ein Computerprogramm wirklich besser geworden ist.
Warum Fortschrittsmeldungen ohne sie wenig wert sind
Firmen behaupten ständig, ihr neues KI-System sei besser als das alte. Ohne kontrollierte Bedingungen ist so eine Aussage kaum überprüfbar. Vielleicht wurde einfach mit anderen Aufgaben getestet. Vielleicht lief der Test auf schnellerer Hardware. Vielleicht war die Fragestellung geringfügig anders formuliert, was das Ergebnis schon deutlich verschieben kann.
Sprachmodelle antworten außerdem nicht immer gleich. Dieselbe Frage kann zweimal hintereinander zu unterschiedlichen Antworten führen. Deshalb kann ein Unterschied von ein oder zwei Prozentpunkten reines Rauschen sein. Eine saubere Evaluation wiederholt den Test deshalb mehrfach und gibt an, wie stark die Ergebnisse schwanken. Erst dann lässt sich sagen, ob ein Vorsprung wirklich existiert.
Das hat handfeste Folgen. Unternehmen entscheiden anhand solcher Tests, welches Modell sie für Millionen Euro einkaufen. Behörden stützen sich darauf, wenn sie Systeme im Gesundheitswesen oder in der Verwaltung zulassen. Ein schlecht kontrollierter Test führt dann nicht nur zu einer falschen Schlagzeile, sondern zu einer falschen Entscheidung.
Was gleich bleiben muss und was variiert wird
Am Anfang steht eine feste Sammlung von Aufgaben, ein sogenanntes Benchmark. Das ist eine Art Klassenarbeit für Maschinen: immer dieselben Fragen, immer dieselbe Bewertung. Beide getesteten Systeme bekommen exakt diese Aufgaben. Auch die Formulierung der Anweisung, die Reihenfolge der Aufgaben und die Bewertungsregeln bleiben identisch. Verändert wird nur der eine Punkt, um den es geht, etwa ein neues Modell oder eine geänderte Einstellung.
Ein wichtiger Punkt ist die Trennung der Daten. Die Testaufgaben dürfen nicht in dem Material vorkommen, aus dem das Modell gelernt hat. Sonst gibt es die Antworten aus dem Gedächtnis wieder, statt sie zu erarbeiten. Fachleute nennen dieses Problem Datenkontamination. Es ist der häufigste Grund dafür, dass beeindruckende Testwerte im Alltag nicht halten, was sie versprechen.
Oft wird zusätzlich blind bewertet. Menschen, die Antworten beurteilen, erfahren nicht, von welchem System sie stammen. So verhindert man, dass ein bekannter Markenname die Note beeinflusst. Verwandt ist das A/B-Testing: Dort bekommen zwei zufällig gebildete Nutzergruppen unterschiedliche Versionen einer Software. Auch das ist eine kontrollierte Evaluation, nur eben mit echten Nutzern statt mit einer festen Aufgabenliste.
Von Modellkarten bis zum EU AI Act
Wer die Ankündigung eines neuen Sprachmodells liest, stößt fast immer auf Tabellen mit Prozentwerten. Diese Zahlen stammen aus solchen Tests. Lohnend ist der Blick ins Kleingedruckte: Steht dort, wie oft gemessen wurde? Sind Schwankungsbreiten angegeben? Wurden die Vergleichsmodelle unter denselben Bedingungen geprüft? Fehlen diese Angaben, ist Skepsis angebracht.
Auch die Regulierung greift den Gedanken auf. Der EU AI Act, das europäische Gesetz für Künstliche Intelligenz, verlangt für riskante Anwendungen dokumentierte Tests vor dem Markteintritt. Dort geht es nicht nur um Genauigkeit, sondern auch um Fragen der Fairness. Getestet wird zum Beispiel, ob ein System bei verschiedenen Bevölkerungsgruppen gleich gut funktioniert.
Ein verbreiteter Irrtum ist, dass ein guter Testwert automatisch gute Praxis bedeutet. Eine kontrollierte Evaluation misst nur das, was in den Aufgaben steckt. Ein Modell kann Mathematikaufgaben glänzend lösen und trotzdem an einer unklar formulierten E-Mail scheitern. Die Kontrolle macht das Ergebnis verlässlich, aber nicht automatisch aussagekräftig für den eigenen Anwendungsfall.