Data Contamination

Wenn ein KI-Modell trainiert wird, lernt es aus riesigen Textmengen aus dem Internet. Dabei kann es passieren, dass diese Textmenge auch Prüfungsaufgaben enthält — also genau die Fragen und Antworten, mit denen man später testen will, wie gut das Modell ist. Das Modell hat die Aufgaben dann nicht gelöst, sondern erinnert sich nur an sie. Dieses Problem heißt Data Contamination. Es ist kein absichtlicher Betrug, sondern meistens eine Folge davon, dass niemand die Trainingsdaten genau genug durchsucht hat. Das Ergebnis ist trotzdem dasselbe: Die gemessene Leistung ist höher als die tatsächliche.

Warum Data Contamination Testergebnisse wertlos macht

KI-Modelle werden auf sogenannten Benchmarks gemessen — das sind standardisierte Tests mit bekannten Aufgaben und bekannten richtigen Antworten. Forscher und Unternehmen nutzen diese Werte, um Modelle miteinander zu vergleichen. Wenn ein Modell auf einem Benchmark 90 Prozent der Aufgaben richtig löst, klingt das beeindruckend. Aber wenn es diese Aufgaben schon beim Training gesehen hat, sagt die 90 nicht viel darüber aus, wie gut das Modell mit neuen, unbekannten Problemen umgeht.

Das ist vergleichbar mit einem Schüler, der die Prüfungsfragen vorab kennt. Seine Note sagt nichts über sein echtes Verständnis. Für die KI-Forschung ist das ein ernstes Problem, denn Benchmarks sind das wichtigste Werkzeug, um Fortschritt zu messen. Sind sie kontaminiert, verliert die gesamte Branche einen verlässlichen Maßstab.

Wie Kontamination entsteht und wie man sie aufspürt

Die meisten großen Sprachmodelle werden auf Ausschnitten des gesamten Internets trainiert. Bekannte Benchmarks wie MMLU oder GSM8K — Sammlungen von Schul- und Wissensfragen — sind selbst im Netz veröffentlicht. Sie landen dadurch fast automatisch in den Trainingsdaten, sofern niemand sie aktiv herausfiltert. Das Herausfiltern ist schwieriger als es klingt, weil die Datenmenge so groß ist, dass keine vollständige manuelle Kontrolle möglich ist.

Forscher versuchen Kontamination nachträglich zu erkennen, indem sie prüfen, ob das Modell bestimmte Texte überdurchschnittlich gut reproduzieren kann. Eine andere Methode ist es, leicht veränderte Versionen der Benchmark-Aufgaben zu erstellen. Kann ein Modell die Originalfrage perfekt beantworten, scheitert aber an einer minimalen Umformulierung desselben Problems, ist das ein starkes Zeichen für Kontamination. Beide Methoden geben Hinweise, liefern aber keinen hundertprozentigen Beweis.

Einige Forschungsgruppen gehen einen anderen Weg: Sie entwickeln Benchmarks, die nie öffentlich veröffentlicht werden, und geben sie nur kurz vor der Auswertung bekannt. So können die Aufgaben nicht in Trainingsdaten geraten sein. Das setzt allerdings voraus, dass alle Beteiligten diese Geheimhaltung konsequent einhalten.

Data Contamination in der aktuellen Debatte um Sprachmodelle

Seit Modelle wie GPT-4, Gemini oder Claude beeindruckende Benchmark-Werte veröffentlichen, ist Data Contamination zu einem zentralen Streitpunkt in der KI-Forschung geworden. Kritiker weisen regelmäßig darauf hin, dass Unternehmen ihre eigenen Modelle auf denselben Datensätzen trainieren und testen, an denen sie ein wirtschaftliches Interesse haben. Das erzeugt einen Interessenkonflikt, selbst wenn keine Absicht zur Täuschung besteht.

In Fachartikeln taucht der Begriff inzwischen routinemäßig auf. Seriöse Veröffentlichungen erklären mittlerweile ausdrücklich, welche Maßnahmen sie ergriffen haben, um Kontamination zu vermeiden oder zumindest abzuschätzen. Wer Meldungen liest, dass ein neues Modell auf einem bestimmten Test einen Rekord gebrochen hat, sollte daher immer die Frage im Hinterkopf behalten: War dieser Test schon Teil der Trainingsdaten?

Das Thema geht über die Forschung hinaus. Unternehmen, die KI-Modelle einkaufen und für ihre Zwecke bewerten wollen, stehen vor demselben Problem: Standardisierte Tests sind oft zu bekannt, um wirklich aussagekräftig zu sein. Deshalb empfehlen Experten, Modelle zusätzlich auf eigenen, internen Testdaten zu prüfen, die noch nie veröffentlicht wurden.