MMLU-Pro

MMLU-Pro ist eine Sammlung von Prüfungsfragen für Computerprogramme, die Texte verstehen und schreiben können. Solche Programme nennt man Sprachmodelle; bekannte Beispiele sind ChatGPT oder Claude. Der Test enthält mehr als 12.000 Fragen aus Fächern wie Mathematik, Physik, Jura, Medizin, Wirtschaft und Geschichte. Zu jeder Frage gibt es zehn Antwortmöglichkeiten, von denen genau eine richtig ist. Man lässt das Programm alle Fragen beantworten und zählt am Ende die Treffer. Das Ergebnis ist ein Prozentwert, mit dem man verschiedene Programme direkt vergleichen kann.

Warum der alte MMLU-Test ausgedient hatte

MMLU-Pro ist der Nachfolger eines Tests namens MMLU aus dem Jahr 2020. Der bestand aus ähnlichen Fragen, hatte aber nur vier Antwortmöglichkeiten pro Frage. Damals war das eine echte Hürde: Die besten Programme lagen kaum über dem Ergebnis von reinem Raten. Vier Jahre später erreichten viele Modelle Werte um 88 Prozent, und die Abstände zwischen ihnen schrumpften auf ein bis zwei Prozentpunkte.

Wenn alle Schüler in einer Klasse fast die volle Punktzahl haben, sagt die Note nichts mehr über Unterschiede aus. Genau dieses Problem hatte MMLU. Dazu kam, dass ein Teil der Fragen fehlerhaft war oder mehrere vertretbare Antworten zuließ. Und weil die Fragen frei im Internet standen, tauchten sie im Trainingsmaterial der Modelle auf. Ein Modell konnte die Lösung dann schlicht auswendig kennen.

MMLU-Pro wurde 2024 an der University of Waterloo entwickelt, um wieder Abstand zwischen die Modelle zu bringen. Das gelang: Beim Wechsel von MMLU zu MMLU-Pro fielen die Ergebnisse typischerweise um 15 bis 30 Prozentpunkte. Für Firmen, Forschung und Presse ist der Test deshalb eine der Standardzahlen, wenn ein neues Modell vorgestellt wird.

Zehn Antworten statt vier

Die wichtigste Änderung klingt banal, wirkt aber stark. Statt vier gibt es zehn Antwortmöglichkeiten. Wer blind rät, trifft damit nur noch in 10 statt in 25 Prozent der Fälle. Glück fällt als Erklärung für ein gutes Ergebnis weitgehend weg.

Zweitens wurden leichte Wissensfragen aussortiert und durch Aufgaben ersetzt, die mehrere Rechen- oder Denkschritte verlangen. Ein großer Teil stammt aus Universitätsprüfungen und Lehrbüchern. Menschliche Prüfer haben außerdem tausende fehlerhafte Fragen aus dem alten Datensatz aussortiert oder korrigiert.

Daraus folgt ein interessanter Effekt: Modelle schneiden bei MMLU-Pro deutlich besser ab, wenn sie ihren Lösungsweg vorher aufschreiben dürfen. Dieses schrittweise Denken nennt man Chain-of-Thought. Beim alten MMLU brachte das kaum etwas, weil dort meist reines Abrufen von Wissen gefragt war. MMLU-Pro misst also nicht nur, was ein Modell weiß, sondern auch, wie gut es rechnet und schlussfolgert.

MMLU-Pro in Modell-Ankündigungen und Ranglisten

Der Begriff taucht vor allem dann auf, wenn ein Unternehmen ein neues Sprachmodell vorstellt. In den Tabellen der Pressemitteilungen steht MMLU-Pro meist in der ersten oder zweiten Zeile, neben Tests für Programmieren und Mathematik. Auch Fachartikel und Finanznachrichten zitieren den Wert, um zu begründen, wer gerade vorne liegt. Öffentliche Ranglisten wie die Leaderboards auf der Plattform Hugging Face führen ihn ebenfalls.

Beim Lesen solcher Zahlen lohnt Skepsis. Ein Unterschied von einem Prozentpunkt bedeutet wenig, weil das Ergebnis auch von der Formulierung der Aufgabenstellung abhängt. Wichtiger ist, ob ein Modell fünf oder zehn Punkte vor einem anderen liegt. Und ein hoher Wert garantiert nicht, dass sich das Modell im Alltag angenehm anfühlt oder selten etwas erfindet.

Ein häufiger Irrtum ist außerdem, MMLU-Pro sei eine Art Intelligenztest. Er prüft nur Multiple-Choice-Fragen aus akademischen Fächern. Über Kreativität, Gesprächsführung oder Zuverlässigkeit bei echten Arbeitsaufgaben sagt er nichts. Und auch dieser Test wird altern: Sobald die Spitzenmodelle nahe 90 Prozent liegen, braucht es den nächsten, schwereren Nachfolger.