Model Evaluation

Ein Computerprogramm, das aus Beispielen gelernt hat, statt starr programmiert zu sein, nennt man ein Modell. Solche Modelle beantworten Fragen, übersetzen Texte oder erkennen Gegenstände auf Fotos. Niemand kann von außen sehen, ob sie das gut machen. Also gibt man ihnen Testaufgaben, bei denen die richtige Lösung schon bekannt ist, und zählt die Treffer. Genau dieses Prüfen heißt Model Evaluation. Das Ergebnis ist eine Zahl oder eine Notenübersicht, mit der man verschiedene Systeme vergleichen kann.

Warum niemand ein ungeprüftes Modell einsetzen sollte

Ein KI-System wirkt oft überzeugender, als es ist. Ein Chatbot formuliert flüssige Sätze, auch wenn der Inhalt falsch ist. Der Eindruck beim Ausprobieren täuscht deshalb regelmäßig. Erst eine Messung an vielen Aufgaben zeigt, wie zuverlässig das System wirklich arbeitet.

Für Unternehmen hängt daran viel Geld. Wer eine Software einkauft, will wissen, ob sie besser ist als die bisherige Lösung. Auch die Entwickler selbst brauchen Messwerte. Ohne sie könnten sie nicht erkennen, ob eine Änderung am Modell eine Verbesserung war oder eine Verschlechterung.

Dazu kommt die Sicherheitsfrage. Man prüft auch, ob ein Modell gefährliche Anleitungen ausgibt, Menschen benachteiligt oder sich leicht austricksen lässt. Die europäische KI-Verordnung verlangt für riskante Anwendungen ausdrücklich solche Nachweise. Evaluation ist damit nicht nur Technik, sondern auch eine rechtliche Pflicht.

Testdaten, Kennzahlen und Benchmarks

Der Grundaufbau ähnelt einer Klassenarbeit. Man legt vor dem Training einen Teil der Daten beiseite, den sogenannten Testdatensatz. Das Modell sieht diese Aufgaben beim Lernen nie. Später bearbeitet es sie, und man vergleicht seine Antworten mit den bekannten Lösungen. Hätte es die Aufgaben schon im Training gesehen, könnte es sie einfach auswendig wiedergeben.

Aus dem Vergleich entstehen Kennzahlen. Die einfachste ist die Trefferquote: der Anteil richtiger Antworten. Oft reicht sie nicht aus. Bei einem Test auf eine seltene Krankheit hätte ein Modell, das immer « gesund » sagt, über 99 Prozent Trefferquote und wäre trotzdem wertlos. Deshalb misst man zusätzlich, wie viele echte Fälle gefunden werden und wie viele Alarme Fehlalarme sind.

Standardisierte Aufgabensammlungen heißen Benchmarks. Bekannte Beispiele enthalten Prüfungsfragen aus Schule und Studium oder Programmieraufgaben, bei denen der geschriebene Code automatisch getestet wird. Bei offenen Texten gibt es keine eindeutige Musterlösung. Dann bewerten entweder Menschen die Antworten oder ein zweites, starkes Modell übernimmt die Rolle des Prüfers.

Ranglisten in den Schlagzeilen und ihre Tücken

Bei jeder Vorstellung eines neuen KI-Modells zeigen Anbieter Balkendiagramme mit Benchmark-Ergebnissen. Meldungen wie « Modell X schlägt die Konkurrenz in acht von zehn Tests » stammen genau daher. Auch öffentliche Ranglisten, in denen Nutzer zwei anonyme Antworten vergleichen und die bessere wählen, gehören dazu. Aktienkurse von Technologiefirmen reagieren mitunter auf solche Zahlen.

Vorsicht ist trotzdem angebracht. Viele Benchmark-Aufgaben stehen frei im Internet und landen dadurch versehentlich in den Trainingsdaten. Das Modell kennt die Antworten dann bereits, und die Punktzahl ist wertlos. Fachleute nennen dieses Problem Datenkontamination.

Ein zweiter Irrtum ist verbreitet: Ein hoher Wert in einem Test bedeutet nicht, dass das Modell für deine Aufgabe taugt. Firmen bauen deshalb eigene kleine Testsammlungen aus echten Fällen aus ihrem Alltag. Diese Eigenprüfung sagt oft mehr aus als jede öffentliche Rangliste.