GPQA-Diamond

GPQA-Diamond ist ein Test für Computerprogramme, die Texte verstehen und beantworten können. Er besteht aus 198 Fragen aus Biologie, Chemie und Physik. Alle Fragen sind Multiple-Choice: Es gibt vier Antwortmöglichkeiten, genau eine ist richtig. Geschrieben wurden sie von Menschen, die in ihrem Fach promovieren oder bereits promoviert haben. Das Besondere: Selbst studierte Fachleute aus einem anderen Fachgebiet scheitern an diesen Fragen meistens, obwohl sie beliebig lange im Internet suchen dürfen. Deshalb steht das G im Namen für „Google-proof“, also etwa „suchmaschinenfest“.

Warum gerade 198 Fragen so viel Gewicht haben

Firmen wie OpenAI, Google oder Anthropic behaupten regelmäßig, ihr neues Modell sei klüger als das vorherige. Solche Behauptungen brauchen einen Beleg. Ein Test mit festen Fragen und einer festen richtigen Antwort liefert eine Zahl, die man vergleichen kann. GPQA-Diamond ist eine dieser Zahlen und taucht in fast jeder Produktankündigung auf.

Der Test wurde 2023 veröffentlicht, weil ältere Prüfungen zu leicht geworden waren. Bei vielen Schul- und Universitätsaufgaben lagen die Programme bereits über 90 Prozent richtig. Ein Test, bei dem alle fast alles können, unterscheidet nichts mehr. GPQA-Diamond war beim Erscheinen so schwer, dass die damals besten Systeme unter 40 Prozent blieben.

Inzwischen erreichen die stärksten Modelle über 85 Prozent. Das klingt nach einem Sieg, ist aber vor allem ein Zeichen dafür, dass auch dieser Test bald ausgedient hat. Fachleute nennen das Benchmark-Sättigung: Wenn oben kaum noch Luft ist, sagen zwei Prozentpunkte Unterschied wenig aus. Bei nur 198 Fragen entspricht ein Prozentpunkt ungefähr zwei Aufgaben.

Wie die Fragen entstanden und geprüft wurden

Das ursprüngliche GPQA umfasst 448 Fragen. Diamond ist die härteste Auswahl daraus. In diese Auswahl kam eine Frage nur unter zwei Bedingungen. Erstens mussten Fachleute aus demselben Gebiet sie überwiegend richtig lösen. Zweitens mussten Fachleute aus einem fremden Gebiet daran scheitern, trotz Internetzugang und ohne Zeitlimit.

Diese doppelte Prüfung ist der Kern der Sache. Die erste Bedingung stellt sicher, dass die Frage überhaupt eine eindeutige Lösung hat und nicht schlicht falsch gestellt ist. Die zweite Bedingung stellt sicher, dass Nachschlagen allein nicht reicht. Eine Frage, die man mit drei Klicks beantworten kann, misst Recherche und nicht Verständnis.

Ein typischer Irrtum ist die Annahme, das Modell könne die Antworten schlicht auswendig gelernt haben. Ganz ausschließen lässt sich das nicht, denn die Fragen stehen frei im Internet. Genau deshalb achten Fachleute darauf, ob ein Modell seinen Lösungsweg zeigt. Kommt ein Programm über mehrere nachvollziehbare Zwischenschritte zum Ziel, spricht das eher für echtes Rechnen als für Erinnerung.

GPQA-Diamond in Produktankündigungen lesen

Wenn ein Unternehmen ein neues Sprachmodell vorstellt, zeigt es fast immer eine Tabelle mit Testergebnissen. GPQA-Diamond steht dort meist neben Mathematiktests und Programmieraufgaben. Der Wert gilt als Hinweis darauf, wie gut ein Modell mehrstufige fachliche Überlegungen bewältigt. Er sagt nichts darüber, wie gut das Modell schreibt, übersetzt oder Termine sortiert.

Beim Lesen solcher Tabellen lohnt ein Blick auf das Kleingedruckte. Manche Ergebnisse entstehen, indem das Modell dieselbe Frage mehrmals beantwortet und die häufigste Antwort zählt. Andere lassen dem Modell viel Rechenzeit zum Nachdenken. Beides hebt den Wert und macht den Vergleich mit einem einfachen Durchlauf unfair.

Wichtig ist außerdem die Untergrenze. Bei vier Antwortmöglichkeiten kommt reines Raten auf etwa 25 Prozent. Ein Ergebnis von 30 Prozent ist also kaum besser als Zufall. Und ein hoher Wert bedeutet nicht, dass man dem Modell im Chemieunterricht blind vertrauen sollte: Ein Test aus 198 Fragen bildet ein ganzes Fachgebiet nur ausschnittweise ab.