GDPval-AA v2
GDPval-AA v2 ist die zweite Fassung einer Prüfsammlung, mit der man testet, wie gut KI-Systeme echte Berufsaufgaben erledigen. Statt Multiple-Choice-Fragen bekommt das System Arbeitsaufträge, und Fachleute beurteilen anschließend das Ergebnis.
GDPval-AA v2 ist ein Test für Computerprogramme, die Sprache verarbeiten und Aufgaben lösen. Solche Programme nennt man KI-Modelle. Der Test besteht nicht aus Wissensfragen, sondern aus echten Arbeitsaufträgen aus dem Berufsleben: eine Tabelle auswerten, einen Vertragsentwurf prüfen, eine Präsentation aufbauen. Das Modell liefert ein Ergebnis ab, und Menschen mit Berufserfahrung beurteilen, ob das Ergebnis brauchbar ist. Der Namenszusatz „AA“ steht für dieses Verfahren mit menschlicher Beurteilung, das „v2“ für die zweite, überarbeitete Fassung der Aufgabensammlung. Die Grundidee stammt aus dem GDPval-Ansatz von OpenAI, der Aufgaben aus vielen Wirtschaftszweigen sammelt.
Warum Berufsaufgaben aussagekräftiger sind als Prüfungsfragen
Lange wurden KI-Modelle vor allem mit Prüfungsfragen bewertet. Ein Modell löst Mathematikaufgaben oder beantwortet Fragen aus einem Medizinexamen. Solche Tests haben einen Nachteil: Die richtigen Antworten stehen oft irgendwo im Internet. Ein Modell, das diese Texte beim Lernen gesehen hat, kann gut abschneiden, ohne wirklich etwas zu können. Fachleute nennen das Datenkontamination.
Berufsaufgaben sind schwerer zu fälschen. Es gibt selten nur eine richtige Lösung. Ein Finanzbericht kann sauber gerechnet und trotzdem unverständlich geschrieben sein. Genau solche Unterschiede fallen auf, wenn ein Mensch aus dem jeweiligen Fach das Ergebnis prüft. Dadurch misst der Test etwas, das Unternehmen tatsächlich interessiert.
Für Investoren und Redaktionen ist das der eigentliche Punkt. Die Frage lautet nicht, ob ein Modell ein Examen besteht. Die Frage lautet, welcher Anteil bezahlter Arbeit sich damit erledigen lässt. Ergebnisse aus Tests wie GDPval-AA v2 werden deshalb häufig in Diskussionen über den Arbeitsmarkt zitiert. Man sollte sie aber als Momentaufnahme lesen, nicht als Prognose.
Vom Arbeitsauftrag zur Bewertungszahl
Der Ablauf hat drei Stufen. Zuerst sammeln Fachleute Aufgaben aus ihrem Arbeitsalltag, jeweils mit den nötigen Unterlagen. Dann bearbeiten mehrere KI-Modelle dieselben Aufgaben unter gleichen Bedingungen. Zuletzt vergleichen Prüfer die Ergebnisse, oft ohne zu wissen, welches Modell was geliefert hat. Dieses Verfahren heißt Blindbewertung und verhindert, dass ein bekannter Markenname das Urteil färbt.
Häufig wird paarweise verglichen. Der Prüfer sieht zwei Lösungen nebeneinander und entscheidet, welche besser ist. Aus vielen solchen Vergleichen entsteht eine Rangliste. Der bekannteste Kennwert ist die Gewinnrate: der Anteil der Fälle, in denen die Lösung des Modells der Vergleichslösung vorgezogen wird. Eine Gewinnrate von 50 Prozent bedeutet Gleichstand mit dem Vergleichsmaßstab.
Die zweite Fassung wurde vor allem an den Schwachstellen der ersten nachgebessert. Typische Änderungen sind klarere Aufgabenbeschreibungen, einheitlichere Bewertungsregeln und zusätzliche Aufgaben aus unterrepräsentierten Branchen. Das hat eine unangenehme Folge: Werte aus v1 und v2 lassen sich nicht direkt vergleichen. Wer beide Versionen in einer Grafik nebeneinanderstellt, erzeugt leicht einen falschen Eindruck von Fortschritt.
Wo die Zahlen auftauchen
Am häufigsten begegnet man GDPval-AA v2 in Ankündigungen neuer Modelle. Anbieter zeigen Balkendiagramme, in denen ihr neues System besser abschneidet als das eigene Vorgängermodell und als die Konkurrenz. Fachmedien greifen diese Zahlen auf, manchmal ohne die Testbedingungen zu nennen. Ein kritischer Blick lohnt sich immer: Wie viele Aufgaben, welche Branchen, wer hat bewertet?
Auch in Unternehmen spielt der Test eine Rolle. Wer überlegt, KI in der Buchhaltung oder im Kundendienst einzusetzen, sucht nach belastbaren Anhaltspunkten. Ergebnisse aus berufsnahen Tests sind dafür brauchbarer als Punktzahlen aus Schulprüfungen. Ersetzen können sie einen eigenen Praxistest trotzdem nicht, weil jedes Unternehmen andere Unterlagen und Abläufe hat.
Ein verbreiteter Irrtum ist, eine hohe Gewinnrate bedeute, die betreffenden Berufe seien überflüssig. Der Test misst einzelne, klar umrissene Aufgaben. Ein Beruf besteht aber aus Absprachen, Verantwortung und Entscheidungen unter Unsicherheit. Genau das bildet GDPval-AA v2 nicht ab.