GSM8K
GSM8K ist ein Testdatensatz aus 8.500 Mathematikaufgaben auf Grundschulniveau, mit dem Forscher messen, wie gut KI-Modelle schrittweise rechnen und logisch schlussfolgern können. Er gilt als einer der meistgenutzten Maßstäbe, um Sprachmodelle miteinander zu vergleichen.
GSM8K steht für „Grade School Math 8K“ — also „Grundschulmathematik, 8.000 Aufgaben“. Der Datensatz enthält 8.500 Textaufgaben, wie man sie aus dem Schulunterricht kennt: Zug fährt um 9 Uhr ab, wie lange dauert die Reise? Solche Aufgaben erfordern mehrere Rechenschritte hintereinander. Für Menschen sind sie leicht. Für KI-Modelle waren sie lange eine echte Hürde. OpenAI, das Unternehmen hinter ChatGPT, hat den Datensatz 2021 veröffentlicht, um genau diese Schwäche messbar zu machen.
GSM8K als Gradmesser für logisches Denken
Sprachmodelle — also KI-Systeme, die Text verstehen und erzeugen — konnten lange sehr überzeugend klingen, ohne wirklich zu rechnen. Sie rieten eher, als dass sie nachdachten. GSM8K macht diesen Unterschied sichtbar. Eine Aufgabe lässt sich nicht durch Auswendiglernen lösen, weil jede Aufgabe eine eigene Situation beschreibt. Das Modell muss die Situation verstehen, einen Plan entwickeln und mehrere Schritte korrekt ausführen.
Deshalb ist GSM8K für die Forschung so wertvoll. Ein Modell, das 90 % der Aufgaben richtig löst, zeigt messbar mehr Rechenfähigkeit als eines, das bei 40 % bleibt. Dieser Vergleich ist einfach und transparent — jeder kann die Aufgaben lesen und nachvollziehen, warum eine Antwort richtig oder falsch ist. Das ist ein Vorteil gegenüber komplizierteren Tests, die schwerer zu verstehen sind.
Wie ein Modell GSM8K-Aufgaben löst
Frühe Sprachmodelle haben Aufgaben wie Fragen beantwortet: Eingabe rein, Antwort raus. Das funktioniert bei einfachen Fragen, scheitert aber bei Kettenrechnungen. Forscher entdeckten, dass Modelle deutlich besser abschneiden, wenn man sie auffordert, ihren Lösungsweg Schritt für Schritt aufzuschreiben. Diese Technik heißt „Chain of Thought“ — zu Deutsch: Gedankenkette. Das Modell schreibt also nicht nur „42“, sondern erklärt erst: „Zuerst berechne ich X, dann Y, daher ergibt sich Z.“
Mit dieser Methode stiegen die Trefferquoten auf GSM8K sprunghaft an. Das Modell zwingt sich gewissermaßen selbst, keinen Schritt zu überspringen. Ein Fehler in Schritt zwei ist dann auch im Lösungsweg sichtbar — was die Auswertung erleichtert. Forscher können so nicht nur messen, ob das Ergebnis stimmt, sondern auch, wo der Denkfehler liegt.
Wichtig ist: GSM8K testet nur Arithmetik und einfache Textverständnis-Logik, keine Algebra, keine Beweise. Die Aufgaben sind bewusst so gewählt, dass der Schwierigkeitsgrad konstant und vergleichbar bleibt. Das macht den Datensatz zum Standard — und damit auch zur Zielscheibe für gezielte Verbesserungen.
GSM8K in Produktankündigungen und Forschungsberichten
Wer Tech-News liest, stößt auf GSM8K fast immer dann, wenn ein Unternehmen ein neues KI-Modell vorstellt. Google, Meta, Mistral, Anthropic — sie alle veröffentlichen Tabellen, in denen ihre Modelle auf GSM8K verglichen werden. Eine typische Zeile lautet: „Unser Modell erreicht 92,3 % auf GSM8K.“ Das ist der Beweis, den Unternehmen vorlegen, um zu zeigen, dass ihr Modell besser rechnet als das der Konkurrenz.
Allerdings gibt es Kritik. Weil GSM8K so verbreitet ist, besteht der Verdacht, dass manche Modelle gezielt auf genau diesen Datensatz trainiert werden — also die Testfragen im Training schon gesehen haben. Das nennt man Datenleck oder „Contamination“. Ein Modell könnte dann hohe Werte erzielen, ohne wirklich besser rechnen zu können. Deshalb arbeiten Forscher ständig an neuen, schwierigeren Nachfolgetests wie MATH oder AIME, die sich nicht so leicht „auswendig lernen“ lassen.
Für Einsteiger bleibt GSM8K trotzdem der wichtigste Orientierungspunkt: Wenn ein Modell dort schlecht abschneidet, wird es auch im Alltag beim Rechnen oft versagen. Wenn es dort gut ist, ist das zumindest ein Zeichen — kein Beweis, aber ein belastbares Signal.