GDPval

GDPval

GDPval ist ein von OpenAI veröffentlichter Test, der prüft, wie gut KI-Systeme echte Arbeitsaufgaben aus bezahlten Berufen erledigen. Statt Prüfungsfragen zu beantworten, müssen die Modelle Dinge abliefern, die auch ein Mensch im Job abgeben würde – etwa einen Rechtsentwurf, eine Tabelle oder eine Konstruktionszeichnung.

GDPval ist ein Test, mit dem man messen will, wie brauchbar Computerprogramme mit künstlicher Intelligenz bei echter Berufsarbeit sind. Die Firma OpenAI hat ihn im September 2025 vorgestellt. Der Name spielt auf das Bruttoinlandsprodukt an, also auf die gesamte Wirtschaftsleistung eines Landes: Getestet werden Tätigkeiten aus Branchen, die einen großen Teil dieser Leistung ausmachen. Die Aufgaben stammen nicht aus Lehrbüchern, sondern von erfahrenen Fachleuten, die im Schnitt seit vielen Jahren in ihrem Beruf arbeiten. Ein Programm bekommt also zum Beispiel echte Unterlagen und soll daraus einen Bericht, eine Kalkulation oder einen Plan erstellen. Anschließend vergleichen andere Fachleute das Ergebnis mit dem, was ein Mensch abgeliefert hat.

Warum Schulnoten für Chatbots nicht mehr reichen

Die meisten bekannten Tests für KI-Systeme bestehen aus Fragen mit einer eindeutig richtigen Antwort. Mathematikaufgaben, Multiple-Choice-Fragen aus Medizin- oder Jura-Prüfungen, kleine Programmieraufgaben. Solche Tests sind praktisch, weil man sie automatisch auswerten kann. Aber die besten Modelle erreichen dort inzwischen fast die volle Punktzahl. Ein Test, in dem alle 95 Prozent schaffen, sagt kaum noch etwas über Unterschiede aus.

Dazu kommt ein zweites Problem. Prüfungsfragen ähneln echter Arbeit nur entfernt. Niemand wird dafür bezahlt, Multiple-Choice-Aufgaben anzukreuzen. Bezahlt wird für Ergebnisse: eine fertige Präsentation, ein geprüfter Vertrag, ein Pflegeplan. Genau diese Lücke soll GDPval schließen. Der Test fragt nicht, ob ein Modell etwas weiß, sondern ob es etwas Abgabefertiges produziert.

Für Anleger und Unternehmen ist das interessant, weil es die Debatte über Automatisierung konkreter macht. Statt allgemein zu spekulieren, welche Jobs KI übernimmt, liefert GDPval Zahlen zu einzelnen Tätigkeiten. Man sollte die Ergebnisse aber vorsichtig lesen. Eine einzelne gelöste Aufgabe ist kein ganzer Beruf, und OpenAI testet hier auch die eigenen Produkte.

Echte Aufgaben, echte Gutachter

GDPval umfasst rund 1.320 Aufgaben aus 44 Berufen. Diese Berufe stammen aus neun Wirtschaftszweigen, die zusammen einen besonders großen Anteil an der Wirtschaftsleistung der USA haben – darunter Gesundheitswesen, Finanzen, Handel, Verwaltung und produzierendes Gewerbe. Jede Aufgabe wurde von einer Fachkraft aus dem jeweiligen Beruf entworfen und mit einer Musterlösung versehen. Eine Aufgabe kostet einen Menschen im Schnitt mehrere Stunden Arbeit.

Die Bewertung läuft als Blindvergleich. Ein Gutachter aus derselben Branche bekommt zwei Ergebnisse vorgelegt, eines vom Modell und eines vom Menschen, ohne zu wissen, welches welches ist. Er entscheidet, welches besser ist, oder erklärt beide für gleichwertig. Der wichtigste Kennwert ist die sogenannte Win-Rate: der Anteil der Fälle, in denen das Modell gewinnt oder unentschieden abschneidet.

In der ersten Runde lag das beste getestete Modell bei ungefähr 47 Prozent, also knapp unter dem menschlichen Niveau. Ein Jahr zuvor waren es noch etwa 14 Prozent gewesen. Typische Fehler waren dabei nicht fehlendes Wissen, sondern Schlampigkeit: falsches Dateiformat, ignorierte Vorgaben, unsauberes Layout. Wichtig ist außerdem, dass es um klar umrissene Einzelaufgaben geht. Absprachen im Team, Rückfragen oder Verantwortung für Entscheidungen misst der Test nicht.

GDPval in Schlagzeilen und Produktversprechen

Am häufigsten begegnet dir GDPval in Meldungen über neue KI-Modelle. Wenn ein Anbieter schreibt, sein System liege bei Berufsaufgaben „fast gleichauf mit Experten“, steckt oft dieser Test dahinter. Auch in Analysen von Banken und Beratungsfirmen taucht die Win-Rate als Argument auf, wenn es um Produktivität oder Personalkosten geht.

Sinnvoll ist es, solche Zahlen einzuordnen. GDPval prüft Aufgaben, deren Ergebnis sich als Datei abgeben lässt. Handwerk, Pflege am Bett oder Kundengespräche fallen heraus. Ein kleinerer Teil des Tests ist öffentlich zugänglich, sodass Forschende ihn selbst nachrechnen können. Wer über KI und Arbeitsmarkt diskutiert, sollte GDPval deshalb als ein Messgerät unter mehreren behandeln – nützlich, aber nicht das letzte Wort.

Subscribe free. Unsubscribe the second it sucks.

High-signal news across AI, business, UX, and tech. Every morning.