AIME
AIME ist ein schwerer amerikanischer Mathematikwettbewerb für Schülerinnen und Schüler, dessen Aufgaben heute auch benutzt werden, um KI-Systeme zu testen. Weil jede Antwort eine ganze Zahl zwischen 0 und 999 ist, lässt sich maschinell eindeutig prüfen, ob ein Modell richtig gerechnet hat.
AIME steht für American Invitational Mathematics Examination. Das ist ein Mathematikwettbewerb in den USA, zu dem nur eingeladen wird, wer in einer Vorrunde gut abgeschnitten hat. Er besteht aus 15 Aufgaben, für die drei Stunden Zeit bleiben. Jede Lösung ist eine ganze Zahl zwischen 0 und 999, es gibt also keine Antwortmöglichkeiten zum Ankreuzen und keinen Aufsatztext. Genau diese Eigenschaft hat den Wettbewerb für die KI-Branche interessant gemacht: Firmen lassen ihre Programme die Aufgaben rechnen und geben an, wie viele davon richtig gelöst wurden. Wenn in einer Meldung steht, ein neues Modell erreiche „90 Prozent auf AIME 2025“, ist dieser Wettbewerb gemeint.
Warum ausgerechnet ein Schülerwettbewerb zum Maßstab wurde
Wer die Fähigkeiten eines KI-Systems vergleichen will, braucht Aufgaben mit eindeutigen Lösungen. Bei einem Gedicht oder einer Zusammenfassung streiten sich Menschen darüber, was gut ist. Bei einer Zahl zwischen 0 und 999 gibt es keinen Streit. Ein Prüfprogramm vergleicht die ausgegebene Zahl mit der richtigen und zählt Treffer. Solche standardisierten Aufgabensammlungen nennt man Benchmarks, also Vergleichstests.
Dazu kommt der Schwierigkeitsgrad. AIME-Aufgaben sind kein Einsetzen in Formeln, sondern verlangen mehrere Gedankenschritte hintereinander. Ein typisches Beispiel: Man muss erst eine geometrische Beziehung erkennen, daraus eine Gleichung aufstellen und diese dann lösen. Wer sich unterwegs einmal verrechnet, hat am Ende eine falsche Zahl. Der Test misst also nicht Wissen, sondern die Fähigkeit, eine längere Argumentation fehlerfrei durchzuhalten.
Genau hier lagen KI-Systeme jahrelang zurück. Noch 2023 lösten führende Chatprogramme nur einen kleinen Teil der Aufgaben. Seit 2024 melden Anbieter Werte über 80 oder 90 Prozent. Dieser Sprung ist einer der Gründe, warum über sogenannte Reasoning-Modelle so viel geschrieben wird — also Modelle, die vor der Antwort erst ausführlich Zwischenschritte notieren.
Vom Aufgabentext zur geprüften Zahl
Der Ablauf ist schlicht. Man gibt dem Modell den Aufgabentext, meist mit der Anweisung, die Endlösung in ein bestimmtes Format zu schreiben. Das Modell erzeugt daraufhin oft mehrere Absätze Rechenweg. Aus dieser Ausgabe wird automatisch die letzte genannte Zahl herausgelesen und mit der offiziellen Lösung verglichen. Der Rechenweg selbst wird dabei normalerweise gar nicht bewertet.
Wichtig ist eine Feinheit bei der Messung. Weil dieselbe Frage bei einem Modell nicht jedes Mal dieselbe Antwort erzeugt, lässt man jede Aufgabe mehrfach rechnen. Bei der gängigen Methode „pass@1“ mittelt man über diese Durchläufe. Manche Anbieter melden stattdessen Werte, bei denen das Modell die Aufgabe zum Beispiel 64-mal löst und die häufigste Antwort zählt. Solche Zahlen liegen naturgemäß höher und sind mit den anderen nicht direkt vergleichbar.
Ein weiteres Problem heißt Kontamination. Alte AIME-Aufgaben stehen samt Lösungen im Internet und landen so in den Trainingsdaten. Ein Modell könnte die Antwort dann erinnern statt herleiten. Deshalb werden vor allem die jeweils neuesten Jahrgänge zum Testen benutzt, die nach dem Trainingsstichtag veröffentlicht wurden.
AIME-Zahlen in Produktankündigungen richtig lesen
Am häufigsten begegnet dir AIME in den Tabellen, die KI-Firmen zu neuen Modellen veröffentlichen. Dort steht der Wettbewerb neben anderen Tests für Programmieren oder Naturwissenschaften. Auch Fachmedien und Börsenberichte greifen die Zahl auf, weil sie sich leicht in eine Schlagzeile packen lässt.
Beim Lesen lohnt sich Skepsis in zwei Punkten. Erstens sollte dabeistehen, welcher Jahrgang gemessen wurde und wie oft gerechnet wurde. Zweitens gilt: AIME besteht nur aus 15 Aufgaben pro Prüfung. Eine einzige zusätzlich richtige Aufgabe verschiebt das Ergebnis schon um knapp sieben Prozentpunkte. Kleine Vorsprünge zwischen zwei Modellen sagen deshalb wenig aus.
Ein verbreiteter Irrtum ist außerdem, ein hoher AIME-Wert bedeute allgemeine Intelligenz. Der Test misst geschlossene Rechenaufgaben mit bekannter Lösung. Ob ein Modell im Alltag verlässlich Quellen zusammenfasst oder Fehler zugibt, steht auf einem anderen Blatt. Weil die Spitzenwerte sich inzwischen der 100-Prozent-Marke nähern, verliert AIME zudem an Aussagekraft und wird nach und nach durch schwerere Aufgabensammlungen ergänzt.