HLE-Verified

Um zu vergleichen, wie gut verschiedene KI-Systeme sind, lässt man sie standardisierte Prüfungen schreiben. Eine solche Sammlung von Testaufgaben nennt man Benchmark. Einer der schwersten dieser Tests heißt « Humanity’s Last Exam », kurz HLE. Er besteht aus einigen tausend Fragen aus Mathematik, Physik, Medizin, Sprachwissenschaft und vielen anderen Fächern, eingereicht von Fachleuten aus aller Welt. Bei so vielen Einsendungen schleichen sich zwangsläufig Fehler ein: falsch angegebene Lösungen, mehrdeutige Formulierungen oder Fragen, die mit dem angegebenen Material gar nicht beantwortbar sind. HLE-Verified bezeichnet den Teil dieser Aufgaben, den unabhängige Prüfer nachkontrolliert und für sauber befunden haben.

Warum eine falsche Musterlösung die ganze Rangliste verzerrt

Ein Benchmark ist nur so verlässlich wie sein Lösungsschlüssel. Wenn bei einer Aufgabe die hinterlegte Antwort falsch ist, wird ein Modell bestraft, das richtig gerechnet hat. Umgekehrt kann ein Modell Punkte bekommen, weil es zufällig denselben Fehler macht wie der Aufgabensteller. Bei einem leichten Test fällt das kaum ins Gewicht. Bei HLE aber lagen die Ergebnisse anfangs im Bereich weniger Prozent.

Genau das ist der Kern des Problems. Wenn ein System 8 Prozent der Fragen löst und gleichzeitig etwa 10 Prozent der Fragen fehlerhaft sind, dann steckt im Messwert mehr Rauschen als Signal. Der Abstand zwischen zwei konkurrierenden Modellen wird dann bedeutungslos. Firmen werben aber genau mit solchen Abständen, und Anleger lesen sie als Fortschrittsnachweis.

Die geprüfte Teilmenge soll dieses Rauschen herausnehmen. Auf HLE-Verified gemessene Werte fallen deshalb meist etwas höher aus als auf dem vollständigen Test. Das ist kein plötzlicher Sprung in der Leistungsfähigkeit. Es bedeutet nur, dass unfaire Abzüge wegfallen.

Wie die Aufgaben durch die Prüfung laufen

Der Ablauf beginnt mit den ursprünglich eingereichten Fragen. Zuerst sortieren automatische Verfahren offensichtliche Problemfälle vor: doppelte Aufgaben, kaputte Formeln, unklare Formate. Danach schaut sich mindestens eine Person mit Fachkenntnis im jeweiligen Gebiet die Aufgabe an. Sie prüft drei Dinge: Ist die Frage eindeutig? Ist die angegebene Lösung korrekt? Und ist sie überhaupt aus der Frage ableitbar?

Aufgaben, bei denen sich die Prüfer nicht einig sind, fliegen im Zweifel raus. Das ist eine bewusste Entscheidung. Lieber ein kleinerer, sauberer Test als ein großer mit unklaren Fällen. Die verbleibenden Fragen bilden das verifizierte Set, das dann für offizielle Vergleiche benutzt wird.

Ein wichtiger Unterschied zu verwandten Begriffen: HLE-Verified sagt nichts darüber, ob ein KI-Modell seine Antwort begründen kann. Es geht ausschließlich um die Qualität der Prüfungsfragen, nicht um die Qualität der Antworten. Wer « verified » mit « geprüfte KI » verwechselt, liegt daneben. Geprüft wurde der Test, nicht der Prüfling.

Wo die Zahl in Ankündigungen auftaucht

Wenn ein Unternehmen ein neues Sprachmodell vorstellt, gehört eine Tabelle mit Benchmark-Ergebnissen fast immer dazu. HLE steht dort als besonders anspruchsvoller Eintrag, oft mit dem Zusatz « verified » oder einer Fußnote zum verwendeten Teilset. Nachrichtenseiten übernehmen diese Zahlen dann in ihre Berichte über die Konkurrenz zwischen den großen KI-Anbietern.

Beim Lesen solcher Meldungen lohnt ein genauer Blick. Wurde auf dem vollen HLE gemessen oder auf der verifizierten Teilmenge? Durfte das Modell dabei im Internet suchen oder Werkzeuge benutzen? Und wie viele Versuche hatte es pro Frage? Zwei Prozentzahlen sind nur vergleichbar, wenn diese Bedingungen übereinstimmen.

Der Begriff steht damit stellvertretend für ein größeres Thema: Benchmarks sind selbst Produkte, die gepflegt, korrigiert und irgendwann ersetzt werden. Je näher die Systeme an die Höchstpunktzahl kommen, desto weniger sagt der Test aus. Dann braucht es einen neuen — und der Kreislauf beginnt von vorn.