Teaching to the Test
Teaching to the Test bezeichnet den Effekt, dass ein System oder ein Mensch gezielt auf die Prüfung hin optimiert wird und dadurch gute Noten erzielt, ohne die dahinterliegende Fähigkeit wirklich zu beherrschen. Bei KI-Modellen führt das dazu, dass Bestwerte in Vergleichstests wenig über den praktischen Nutzen aussagen.
Der Begriff stammt ursprünglich aus der Schule. Wenn eine Lehrerin weiß, welche Aufgabentypen in der Prüfung drankommen, kann sie genau diese üben lassen. Die Noten steigen dann, ohne dass die Klasse das Fach besser verstanden hat. Genau dasselbe passiert bei künstlicher Intelligenz, also bei Computerprogrammen, die aus Beispielen lernen. Solche Programme werden mit standardisierten Aufgabensammlungen bewertet. Wer diese Aufgaben kennt und gezielt darauf hin optimiert, bekommt hohe Punktzahlen — auch dann, wenn das Programm im echten Einsatz schwächer ist.
Warum Bestwerte in Ranglisten wenig beweisen
KI-Firmen werben fast immer mit Zahlen. Ein neues Modell erreicht 92 Prozent in einem Mathetest, ein anderes schlägt es mit 94 Prozent. Solche Vergleichstests heißen Benchmarks. Sie sind öffentlich zugänglich, damit alle Anbieter dieselben Aufgaben nutzen können. Genau diese Offenheit ist aber auch das Problem: Was öffentlich ist, kann man gezielt trainieren.
Für Anleger und Journalisten ist das heikel. Eine Benchmark-Zahl wirkt objektiv, wie eine gemessene Höchstgeschwindigkeit beim Auto. Tatsächlich ist sie eher wie eine Fahrzeit auf einer Strecke, die der Hersteller selbst kannte und wochenlang geübt hat. Zwei Modelle mit fast gleichen Punktzahlen können sich im Alltag deutlich unterscheiden. Deshalb warnen Fachleute davor, Investitionsentscheidungen allein auf Ranglisten zu stützen.
Der Effekt hat auch eine Kehrseite in die andere Richtung. Ein Modell kann im Alltag sehr nützlich sein und trotzdem in Tests mittelmäßig abschneiden. Wer nur auf die Tabelle schaut, übersieht solche Fälle. Die Zahl misst eben nicht die Fähigkeit, sondern nur die Leistung an einem bestimmten Aufgabenset.
Wie Testaufgaben ins Training sickern
Der harmloseste Weg ist Zufall. Große Sprachmodelle werden mit riesigen Textmengen aus dem Internet trainiert. Viele Benchmark-Aufgaben stehen samt Lösung irgendwo im Netz, etwa in Forenbeiträgen oder auf Programmierplattformen. Landen sie im Trainingsmaterial, hat das Modell die Antworten schlicht auswendig gelernt. Fachleute nennen das Datenkontamination, also die Verunreinigung der Trainingsdaten mit Prüfungsstoff.
Es gibt auch bewusste Varianten. Ein Anbieter kann Trainingsdaten so zusammenstellen, dass sie den Aufgabentypen des Tests stark ähneln. Formal ist der Test dann nicht abgeschrieben, das Ergebnis wird aber trotzdem geschönt. Zwischen sauberer Vorbereitung und Schummeln liegt hier eine breite Grauzone. Genau deshalb ist der Vorwurf schwer zu beweisen und taucht in der Branche regelmäßig auf.
Gegenmittel gibt es mehrere. Man hält einen Teil der Aufgaben geheim und veröffentlicht ihn nie. Man erstellt Tests nach dem Erscheinen eines Modells, damit die Aufgaben unmöglich im Training stecken können. Oder man formuliert bekannte Aufgaben leicht um: Ändert man nur Zahlen und Namen und die Punktzahl bricht ein, war das Wissen offenbar auswendig gelernt. Dieser Trick ist ein verbreiteter Test auf Teaching to the Test.
Vom Schulzeugnis bis zur Produktankündigung
Am häufigsten begegnet dir der Begriff in Berichten über neue KI-Modelle. Nach jeder großen Ankündigung diskutieren Fachleute, ob die genannten Werte belastbar sind. Oft folgen unabhängige Nachtests, bei denen ein Modell schlechter abschneidet als beworben. Der Abstand zwischen Ankündigung und Nachprüfung ist ein gutes Warnsignal für Leser.
Außerhalb der KI kennst du das Prinzip aus dem Bildungssystem. Nach den PISA-Studien richteten manche Schulsysteme ihren Unterricht stark auf die getesteten Kompetenzen aus. Ähnliches passiert in Unternehmen, wenn Mitarbeiter nur noch die Kennzahl verbessern, an der sie gemessen werden. Dahinter steckt eine allgemeine Regel: Sobald eine Messgröße zum Ziel wird, taugt sie nicht mehr als Messgröße.
Praktisch hilft ein einfacher Reflex. Frage bei jeder beeindruckenden Zahl, wer den Test gestellt hat und ob die Aufgaben vorher bekannt waren. Und probiere ein Modell an einer eigenen, ungewöhnlichen Aufgabe aus. Was bei einer selbst ausgedachten Frage funktioniert, kann niemand vorher geübt haben.