Humanity's Last Exam

Humanity’s Last Exam ist eine Prüfung für Computerprogramme, die Texte verstehen und beantworten können. Sie besteht aus rund 2.500 Fragen, die von Fachleuten aus über hundert Ländern eingereicht wurden. Die Fragen stammen aus Mathematik, Physik, Chemie, Medizin, Sprachwissenschaft, Geschichte und vielen weiteren Gebieten. Sie sind so schwer, dass selbst Professoren sie meist nur im eigenen Fachgebiet lösen können. Der Name spielt darauf an, dass dies die letzte Prüfung sein soll, die Menschen für Maschinen schreiben müssen. Veröffentlicht wurde die Sammlung Anfang 2025 von der Organisation Center for AI Safety zusammen mit dem Unternehmen Scale AI.

Warum die alten Prüfungen ausgedient hatten

Um zu vergleichen, wie gut verschiedene KI-Programme sind, braucht man einheitliche Tests. Solche Standardtests nennt man Benchmarks. Jahrelang war MMLU der wichtigste davon: eine Sammlung von Multiple-Choice-Fragen aus Schule und Studium. Als dieser Test 2020 erschien, lagen die besten Programme bei etwa 30 Prozent richtiger Antworten.

Wenige Jahre später erreichten Spitzenmodelle über 90 Prozent. Damit war der Test nutzlos geworden. Wenn alle Prüflinge fast alles richtig haben, sagt die Note nichts mehr über Unterschiede aus. Fachleute nennen das Sättigung eines Benchmarks.

Genau diese Lücke soll Humanity’s Last Exam schließen. Die Fragen wurden bewusst so ausgewählt, dass die damals besten Programme daran scheiterten. Zum Start lagen die Ergebnisse bei unter zehn Prozent richtiger Antworten. Damit gab es wieder Raum nach oben, an dem man Fortschritt ablesen kann.

Wie die Fragen entstanden und geprüft werden

Die Organisatoren riefen weltweit Fachleute auf, schwere Fragen einzureichen, und zahlten Prämien für angenommene Beiträge. Rund tausend Personen aus etwa fünfhundert Einrichtungen machten mit. Etwa 70.000 Fragen wurden eingereicht, übrig blieben rund 2.500. Jede Frage musste zwei Hürden nehmen.

Erste Hürde: Mehrere führende KI-Programme mussten an der Frage scheitern. Wer eine Frage einreichte, konnte sie sofort gegen diese Modelle testen lassen. Nur was die Maschinen nicht lösten, kam in die nächste Runde. Zweite Hürde: Andere Fachleute prüften die Frage auf sachliche Richtigkeit und auf eine eindeutige Lösung.

Die Antworten sind entweder kurze exakte Angaben oder Auswahlmöglichkeiten. So lässt sich automatisch prüfen, ob eine Antwort stimmt. Etwa jede zehnte Aufgabe enthält zusätzlich ein Bild, zum Beispiel ein Diagramm oder eine Zeichnung. Ein Teil der Fragen bleibt geheim, damit Firmen ihre Modelle nicht gezielt darauf trainieren können.

Was die Prozentzahlen in den News bedeuten

Wenn ein Unternehmen ein neues Sprachmodell vorstellt, steht in der Pressemitteilung fast immer eine Tabelle mit Benchmark-Ergebnissen. Humanity’s Last Exam gehört seit 2025 zu den meistgenannten Einträgen darin. Meldungen wie „Modell X erreicht 25 Prozent auf HLE“ beziehen sich auf diesen Test. Die Werte sind seit dem Start deutlich gestiegen, vor allem bei Systemen, die vor der Antwort längere Rechenschritte durchführen.

Solche Zahlen sollte man vorsichtig lesen. Die Ergebnisse hängen davon ab, ob das Modell im Internet suchen durfte und wie viel Rechenzeit es bekam. Ein häufiger Irrtum ist außerdem, ein hoher Wert bedeute allgemeine Intelligenz. Der Test misst Fachwissen und Schlussfolgern bei eng gestellten Fragen mit eindeutiger Lösung.

Alltagsaufgaben wie das Planen einer Reise oder das Erkennen einer Lüge kommen darin nicht vor. Auch dieser Benchmark wird deshalb irgendwann ersetzt werden. Für Anleger und Beobachter der Branche ist er trotzdem nützlich: Er zeigt in einer einzigen Zahl, wie schnell sich die Fähigkeiten der Systeme verändern.