Benchmark-Kontamination

Programme wie ChatGPT lernen, indem sie riesige Textmengen aus dem Internet verarbeiten. Danach prüft man ihr Können mit festen Aufgabensammlungen, sogenannten Benchmarks. Das sind standardisierte Tests mit Mathematikaufgaben, Programmieraufgaben oder Wissensfragen, deren richtige Lösungen bekannt sind. Damit ein solcher Test etwas aussagt, dürfen die Aufgaben dem Programm vorher nicht begegnet sein. Genau das passiert aber oft: Die Aufgaben stehen samt Lösung frei im Netz und landen so im Lernmaterial. Dieses Problem heißt Benchmark-Kontamination.

Warum aufgeblähte Testergebnisse teuer werden

Benchmark-Zahlen sind die Währung der KI-Branche. Wenn ein Unternehmen ein neues Modell vorstellt, zeigt es fast immer eine Tabelle mit Punktzahlen aus bekannten Tests. Journalisten übernehmen diese Zahlen, Investoren bewerten Firmen danach, Entwickler entscheiden auf dieser Basis, welches System sie einbauen. Eine kontaminierte Zahl verzerrt also nicht nur eine Randnotiz, sondern eine ganze Entscheidungskette.

Besonders unangenehm ist, dass Kontamination die Rangfolge zwischen Modellen durcheinanderbringt. Ein System, das viele Testaufgaben mitgelernt hat, kann ein tatsächlich besseres System auf dem Papier überholen. Wer sich dann für das scheinbar stärkere entscheidet, merkt den Unterschied erst im Alltag. Dort tauchen genau die Aufgaben auf, die in keinem Benchmark stehen.

Für die Forschung ist der Schaden noch grundsätzlicher. Fortschritt lässt sich nur messen, wenn der Maßstab stabil bleibt. Wenn beliebte Benchmarks nach ein paar Jahren durchgesickert sind, weiß niemand mehr sicher, ob die Modelle besser geworden sind oder nur besser informiert. Man vergleicht ein Ergebnis von 2025 mit einem von 2022 und misst in Wahrheit zwei verschiedene Dinge.

Wie Testaufgaben ins Training rutschen

Der häufigste Weg ist schlicht Unachtsamkeit. Trainingsdaten werden aus Milliarden Webseiten zusammengesammelt, oft automatisch. Benchmarks liegen aber genau dort: auf GitHub, in Foren, in Blogeinträgen mit Musterlösungen, in wissenschaftlichen Aufsätzen. Niemand muss betrügen, damit die Aufgaben mitkopiert werden. Es reicht, den Datensatz nicht gründlich genug zu filtern.

Schwieriger wird es bei indirekter Kontamination. Dabei taucht die Aufgabe nicht wörtlich auf, sondern umformuliert, übersetzt oder in einer Diskussion über die Lösung. Reine Textvergleiche finden so etwas nicht. Deshalb prüfen Forscher zusätzlich mit Tricks: Sie ändern Zahlen in einer Aufgabe leicht ab oder tauschen Namen aus. Bricht die Trefferquote danach stark ein, deutet das auf auswendig Gelerntes hin statt auf echtes Verständnis.

Die wichtigste Gegenmaßnahme sind Tests, die es beim Training noch nicht gab. Man baut Benchmarks, die regelmäßig durch neue Aufgaben ersetzt werden, oder hält einen Teil der Aufgaben komplett geheim. Manche Wettbewerbe lassen Modelle nur über eine Schnittstelle antreten, ohne die Aufgaben je zu veröffentlichen. Verwandt ist die absichtliche Variante, das sogenannte Benchmark-Hacking, bei dem gezielt auf den Test hin optimiert wird. Kontamination ist meist ein Unfall, das Ergebnis sieht aber ähnlich aus.

Woran man verdächtige Bestwerte erkennt

In Nachrichten über neue KI-Modelle begegnet dir der Begriff meist als Kritik. Ein Unternehmen meldet einen Spitzenwert, kurz darauf weisen Forscher nach, dass Teile des Tests im Trainingsmaterial lagen. Solche Debatten gab es unter anderem um bekannte Mathematik- und Programmier-Benchmarks. Seriöse technische Berichte enthalten deshalb inzwischen eigene Abschnitte zur Kontaminationsprüfung.

Du kannst das Prinzip auch selbst ausprobieren. Stelle einem Chatbot eine bekannte Rätselaufgabe und ändere dann eine Kleinigkeit, etwa eine Zahl oder eine Bedingung. Antwortet er weiter mit der Lösung des Originals, hat er die Aufgabe eher erinnert als durchdacht. Das ist derselbe Effekt wie bei einer Klassenarbeit, deren Aufgaben vorab im Umlauf waren: Die Noten steigen, das Wissen nicht.