MATH-500
MATH-500 ist ein standardisierter Testdatensatz aus 500 Mathematikaufgaben, mit dem gemessen wird, wie gut KI-Modelle beim Lösen komplexer mathematischer Probleme abschneiden. Ergebnisse auf diesem Benchmark tauchen regelmäßig in Ankündigungen neuer KI-Modelle auf und gelten als wichtiger Vergleichsmaßstab für mathematisches Reasoning.
MATH-500 ist ein Testdatensatz aus 500 Mathematikaufgaben, an dem gemessen wird, wie gut ein KI-Modell rechnen und logisch schlussfolgern kann. Die Aufgaben stammen aus einem größeren Datensatz namens MATH, der ursprünglich von Forschern der UC Berkeley zusammengestellt wurde. MATH-500 ist die gebräuchlichere, kleinere Auswahl daraus — groß genug für aussagekräftige Ergebnisse, klein genug, um sie schnell auszuwerten. Die Aufgaben decken Gebiete wie Algebra, Geometrie, Wahrscheinlichkeitsrechnung und Kombinatorik ab und sind in fünf Schwierigkeitsstufen eingeteilt. Viele Aufgaben entsprechen dem Niveau von Mathematikolympiaden.
MATH-500 als Messlatte für Sprachmodelle
Frühe Sprachmodelle — also KI-Systeme, die mit Text arbeiten — schnitten auf MATH-500 sehr schlecht ab. GPT-3 löste 2021 weniger als 10 Prozent der Aufgaben korrekt. Das war ein klares Signal: Sprache beherrschen und Mathematik beherrschen sind zwei verschiedene Dinge.
Seitdem dient MATH-500 als Gradmesser dafür, wie viel Fortschritt wirklich stattgefunden hat. Wenn ein Unternehmen ein neues Modell vorstellt, gehört der MATH-500-Score fast immer zu den ersten veröffentlichten Zahlen. Ein hoher Wert zeigt, dass das Modell nicht nur Muster wiedererkennt, sondern tatsächlich mehrstufige Probleme lösen kann — Schritt für Schritt, wie ein Schüler, der seinen Lösungsweg aufschreibt.
Dabei ist der Benchmark bewusst schwer gehalten. Er soll zwischen sehr guten Modellen unterscheiden können — sogenannte Ceiling-Effekte vermeiden, also verhindern, dass alle Modelle fast 100 Prozent erreichen und nicht mehr vergleichbar sind. Das funktioniert heute weniger gut als früher: Spitzenmodelle aus dem Jahr 2025 erzielen bereits über 90 Prozent.
Wie ein Modell auf MATH-500 getestet wird
Jede der 500 Aufgaben wird dem Modell als Text gestellt. Das Modell schreibt eine Antwort, typischerweise inklusive Lösungsweg. Ausgewertet wird am Ende nur das Endergebnis: stimmt die Zahl oder der Ausdruck mit der hinterlegten Musterlösung überein? Der Lösungsweg selbst zählt nicht — das ist ein bekannter Kritikpunkt, denn ein Modell kann zufällig das richtige Ergebnis nennen, obwohl sein Rechenweg falsch war.
Um die Ergebnisse robuster zu machen, lassen viele Labore dasselbe Modell jede Aufgabe mehrfach lösen — zum Beispiel 64 Mal — und nehmen die häufigste Antwort. Diese Methode heißt Majority Voting. Sie verbessert den Score deutlich, weil zufällige Fehler sich herausmitteln. Das macht Vergleiche zwischen Laboren aber schwieriger: Ein Score von 90 Prozent mit 64 Versuchen ist nicht dasselbe wie 90 Prozent mit einem einzigen Versuch.
Ein weiteres Detail: Die 500 Aufgaben wurden von OpenAI-Forscher Lightman und Kollegen 2023 gezielt ausgewählt, um eine möglichst repräsentative Stichprobe aus dem Originalpool zu bilden. Nicht jede der ursprünglichen MATH-Aufgaben ist enthalten — solche, bei denen die automatische Auswertung schwierig ist, wurden ausgeschlossen.
MATH-500 in Produktankündigungen und Forschungsberichten
Wer Tech-News verfolgt, begegnet MATH-500 vor allem in Pressemitteilungen. OpenAI, Google DeepMind, Anthropic und chinesische Labore wie DeepSeek veröffentlichen bei jedem neuen Modell Vergleichstabellen — sogenannte Benchmark-Tabellen — in denen MATH-500 neben anderen Tests auftaucht. Der Begriff „Benchmark“ bezeichnet dabei einfach einen standardisierten Test, mit dem verschiedene Modelle unter gleichen Bedingungen verglichen werden können.
Aufsehen erregte etwa das Modell DeepSeek-R1 Anfang 2025: Es erzielte auf MATH-500 ähnliche Werte wie OpenAIs damals bestes Modell o1 — und das zu einem Bruchteil der Trainingskosten. Solche Vergleiche sind nur deshalb öffentlich nachvollziehbar, weil Benchmarks wie MATH-500 als gemeinsamer Maßstab existieren.
Allerdings sollte man MATH-500-Werte nicht unkritisch lesen. Kritiker weisen darauf hin, dass Modelle möglicherweise auf ähnliche Aufgaben trainiert wurden — das nennt sich Datenkontamination. Dann testet der Benchmark nicht echtes Verständnis, sondern Erinnerung. Deshalb wird in der Forschung parallel an schwierigeren Nachfolgetests gearbeitet, etwa FrontierMath, der selbst für heutige Spitzenmodelle kaum lösbar ist.