SuperGPQA
SuperGPQA ist ein Test mit rund 26.000 sehr schweren Fachfragen aus 285 Studienfächern, mit dem geprüft wird, wie viel Fachwissen ein KI-System wirklich beherrscht. Er gilt als Nachfolger des kleineren Tests GPQA und deckt auch seltene Fachgebiete ab, die in üblichen Prüfungen fehlen.
SuperGPQA ist eine große Sammlung von Prüfungsfragen für Computerprogramme, die Texte verstehen und beantworten können. Solche Sammlungen nennt man in der Fachsprache Benchmarks, also standardisierte Vergleichstests. Die Fragen stammen aus 285 verschiedenen Studienfächern, von Medizin über Maschinenbau bis zu Bibliothekswissenschaft. Insgesamt sind es rund 26.000 Aufgaben, jede mit mehreren Antwortmöglichkeiten zur Auswahl. Veröffentlicht wurde die Sammlung Anfang 2025 von einer Forschungsgruppe rund um das chinesische Unternehmen ByteDance. Der Name verweist auf einen älteren, viel kleineren Test namens GPQA, den SuperGPQA deutlich erweitert.
Warum 285 Fächer statt nur Physik, Chemie und Biologie
Der Vorgänger GPQA enthielt nur wenige hundert Fragen aus drei Naturwissenschaften. Das ist eine schmale Grundlage für ein Urteil über allgemeines Fachwissen. Wenn ein System dort gut abschneidet, weiß man wenig darüber, ob es auch in Agrarwissenschaft oder Rechtsgeschichte brauchbar antwortet. SuperGPQA schließt diese Lücke, indem es bewusst auch Fächer aufnimmt, die selten geprüft werden.
Dahinter steckt ein bekanntes Problem: Testergebnisse verlieren an Aussagekraft, wenn die Aufgaben bereits im Trainingsmaterial des Systems stecken. Fachleute sprechen von Kontamination. Bekannte Prüfungsfragen kursieren im Internet und landen so leicht in den Daten, aus denen ein System lernt. Es kann die Antwort dann auswendig wiedergeben, ohne den Sachverhalt zu durchdringen. Neue und seltene Fragen aus Nischenfächern verringern dieses Risiko.
Wichtig ist außerdem der Schwierigkeitsgrad. Ältere Wissenstests sind für heutige Systeme zu leicht geworden; viele erreichen dort über 90 Prozent richtige Antworten. Solche Tests können gute und sehr gute Systeme nicht mehr unterscheiden. Bei SuperGPQA lagen die besten Ergebnisse zum Zeitpunkt der Veröffentlichung bei etwa 60 Prozent. Damit bleibt Luft nach oben, und Fortschritte werden sichtbar.
Wie die Fragen entstanden sind
Die Aufgaben wurden nicht automatisch generiert, sondern in einem mehrstufigen Verfahren erstellt. Zuerst sammelten menschliche Fachleute Fragen aus Lehrbüchern und Prüfungsunterlagen ihres Gebiets. Anschließend halfen Sprachmodelle dabei, Formulierungen zu vereinheitlichen und zusätzliche falsche Antwortmöglichkeiten zu erzeugen. Am Ende prüften wieder Menschen das Ergebnis. Diese Mischung aus Mensch und Maschine nennen die Autoren einen Human-LLM-Kollaborationsprozess.
Ein zentraler Filter war die Frage, ob eine Aufgabe überhaupt schwer genug ist. Fragen, die mehrere einfache Systeme auf Anhieb richtig beantworteten, flogen wieder heraus. Übrig blieben Aufgaben, die echtes Fachwissen oder mehrere Denkschritte verlangen. Jede Frage hat bis zu zehn Antwortoptionen statt der üblichen vier. Damit sinkt die Chance, durch pures Raten richtig zu liegen, von 25 auf etwa 10 Prozent.
Ein Beispiel macht das Prinzip greifbar. Statt zu fragen, welches Element das Symbol Fe trägt, verlangt SuperGPQA etwa die Auswertung eines Reaktionsverlaufs unter bestimmten Bedingungen. Das erste ist reines Nachschlagewissen, das zweite erfordert Anwendung. Genau diese Trennung soll der Test sichtbar machen.
SuperGPQA in Modellankündigungen und Ranglisten
Begegnen wird dir der Name vor allem in technischen Berichten zu neuen KI-Modellen. Wenn ein Unternehmen ein neues System vorstellt, listet es üblicherweise eine Tabelle mit Benchmark-Ergebnissen auf. Neben Namen wie MMLU, GPQA oder HLE taucht dort inzwischen häufig SuperGPQA auf. Auch Tech-News-Artikel greifen solche Zahlen auf, wenn sie über Fortschritte berichten.
Für die Einordnung solcher Meldungen lohnt sich Skepsis. Ein Prozentwert in einer Tabelle sagt nichts darüber, wie zuverlässig ein System in deinem konkreten Alltag arbeitet. Benchmarks messen eng umrissene Fähigkeiten unter Laborbedingungen. Ein Modell kann bei Fachfragen glänzen und trotzdem Termine falsch berechnen oder Quellen erfinden.
Ein verbreiteter Irrtum ist außerdem, ein hoher Wert bedeute Verständnis im menschlichen Sinn. Gemessen wird nur, wie oft die angekreuzte Antwort mit der hinterlegten Lösung übereinstimmt. Warum ein System richtig lag, bleibt offen. SuperGPQA ist deshalb ein nützliches Vergleichsinstrument, aber kein Zeugnis über Intelligenz.