PaperBench

PaperBench ist eine Prüfungsaufgabe für Computerprogramme, die Texte schreiben und Aufgaben lösen können. Die Firma OpenAI hat sie 2025 veröffentlicht. Das Programm bekommt eine wissenschaftliche Veröffentlichung aus der KI-Forschung vorgelegt, also einen Fachaufsatz mit Beschreibung eines Experiments. Danach soll es dieses Experiment von Grund auf nachbauen: den Programmcode schreiben, ihn laufen lassen und am Ende dieselben Zahlen herausbekommen wie die Forscher. Insgesamt umfasst der Test 20 solcher Aufsätze. Fertigen Code der Autoren darf das Programm dabei nicht benutzen.

Warum Nachbauen die härtere Prüfung ist

Die meisten Tests für KI-Systeme bestehen aus Fragen mit klarer Musterlösung. Mathe-Aufgaben, Programmierrätsel, Multiple-Choice-Prüfungen: Man vergleicht die Antwort mit der richtigen Lösung, fertig. Solche Tests werden immer weniger aussagekräftig, weil moderne Systeme sie fast fehlerfrei bestehen. Außerdem stehen viele dieser Aufgaben irgendwo im Internet und damit womöglich in den Trainingsdaten der Modelle.

PaperBench misst etwas anderes: die Fähigkeit, über Stunden hinweg an einem großen Projekt zu arbeiten. Ein Forschungsexperiment nachzubauen bedeutet, hunderte Entscheidungen zu treffen. Welche Bibliotheken nutze ich? Wie strukturiere ich die Daten? Warum stürzt mein Programm nach zwanzig Minuten ab? Genau daran scheitern KI-Systeme bisher häufiger als an einzelnen kniffligen Fragen.

Dahinter steckt eine sehr konkrete Frage: Kann KI eines Tages eigenständig forschen? Wenn ein System fremde Experimente zuverlässig reproduziert, ist der Schritt zu eigenen Experimenten nicht mehr weit. Deshalb gilt PaperBench auch als Frühwarnsystem. OpenAI selbst ordnet den Test in die eigene Sicherheitsprüfung ein, mit der die Firma beobachtet, wie schnell ihre Modelle stärker werden.

Bewertung nach Tausenden von Einzelpunkten

Ein nachgebautes Experiment lässt sich nicht einfach mit richtig oder falsch bewerten. Deshalb haben die Autoren der Originalaufsätze für jede Arbeit eine detaillierte Prüfliste erstellt. Diese Listen sind baumartig aufgebaut: Eine große Anforderung zerfällt in Teilanforderungen, diese wieder in kleinere. Über alle 20 Aufsätze kommen so mehr als 8.000 einzeln prüfbare Punkte zusammen.

Geprüft wird auf drei Ebenen. Existiert der nötige Code überhaupt? Läuft er ohne Fehler durch? Und stimmt das Ergebnis mit dem Aufsatz überein? Am Ende ergibt sich eine Punktzahl zwischen null und hundert Prozent. Ein Mensch bräuchte für die Bewertung einer einzigen Einreichung viele Stunden.

Damit das praktikabel bleibt, übernimmt ein zweites KI-Modell die Korrektur. Dieses Prinzip heißt LLM-as-a-Judge, also Sprachmodell als Prüfer. Ob dieser automatische Prüfer selbst zuverlässig urteilt, haben die Entwickler mit menschlichen Kontrollbewertungen abgeglichen. Die Ergebnisse der ersten Runde waren ernüchternd: Das beste getestete System kam auf rund 21 Prozent, erfahrene Doktoranden auf etwa 41 Prozent bei den Aufsätzen, die sie bearbeiteten.

PaperBench in der Debatte um KI-Fortschritt

In Nachrichten über neue KI-Modelle tauchen regelmäßig Testergebnisse auf. Meist geht es um bekannte Prüfungen zu Mathematik oder Programmieren. PaperBench gehört zur neueren Generation von Tests, die längere und offenere Aufgaben stellen. Wenn ein Anbieter damit wirbt, sein Modell habe hier zugelegt, ist das ein Hinweis auf Ausdauer bei komplexen Projekten.

Für Anleger und Unternehmen ist das mehr als eine Zahl. Ein System, das selbstständig ein Forschungsprojekt umsetzen kann, würde auch in Laboren, Banken oder Softwarefirmen ganz andere Aufgaben übernehmen als ein Chatbot. Umgekehrt zeigen niedrige Punktzahlen, wie groß der Abstand zu menschlichen Fachleuten noch ist.

Ein häufiger Irrtum ist, PaperBench messe Kreativität oder wissenschaftliche Originalität. Das tut der Test nicht. Er prüft das saubere Nachvollziehen fremder Arbeit, nicht das Finden neuer Ideen. Der Programmcode des Tests ist frei verfügbar, sodass andere Forschungsgruppen ihre eigenen Systeme damit prüfen können.