SimpleQA

SimpleQA ist eine Sammlung von rund 4.300 kurzen Wissensfragen, mit denen man Computerprogramme prüft, die Texte schreiben. Solche Programme können auf jede Frage eine flüssige Antwort formulieren, auch wenn sie den Sachverhalt gar nicht kennen. Genau das soll SimpleQA sichtbar machen. Jede Frage hat nur eine einzige richtige Antwort, die sich in einer verlässlichen Quelle nachschlagen lässt. Ein Beispiel wäre: In welchem Jahr wurde eine bestimmte Person zum ersten Mal in ein Amt gewählt? Weil die Antwort so knapp ist, kann man sie eindeutig als richtig oder falsch bewerten. Die Firma OpenAI hat den Test im Herbst 2024 veröffentlicht und frei zugänglich gemacht.

Erfundene Fakten sichtbar machen

Das größte praktische Problem heutiger Sprachprogramme ist nicht mangelnde Sprachfähigkeit, sondern erfundene Inhalte. Fachleute nennen das Halluzination: Das Modell erzeugt eine Aussage, die plausibel klingt, aber sachlich falsch ist. Für einen Aufsatz mag das ärgerlich sein. In einer Arztpraxis, einer Kanzlei oder einer Bank kann es teuer werden. Deshalb braucht es Messwerte, die genau diese Schwäche erfassen.

SimpleQA ist bewusst schwer gebaut. Die Fragen wurden so ausgewählt, dass die damals stärksten Modelle sie häufig falsch beantworteten. Bei der Veröffentlichung lagen die besten Systeme bei deutlich unter der Hälfte korrekter Antworten. Ein Test, den alle sofort bestehen, wäre nutzlos, weil er keine Unterschiede zeigt.

Wichtig ist außerdem, was SimpleQA nicht misst. Der Test sagt nichts über Programmierfähigkeit, Mathematik oder das Verstehen langer Texte. Er misst Faktenwissen zu kurzen Fragen. Wer aus einem guten SimpleQA-Ergebnis auf allgemeine Klugheit schließt, überdehnt die Aussage.

Drei Bewertungen statt nur richtig und falsch

Der Ablauf ist einfach. Das zu prüfende Modell bekommt eine Frage ohne Hilfsmittel und antwortet in wenigen Worten. Anschließend vergleicht ein zweites Programm die Antwort mit der hinterlegten Musterlösung. Dieser Prüfer ist selbst ein Sprachmodell, weil starre Textvergleiche an Kleinigkeiten scheitern würden. „1961“ und „im Jahr 1961“ sollen schließlich beide als korrekt gelten.

Bewertet wird in drei Kategorien: korrekt, falsch oder nicht beantwortet. Diese dritte Kategorie ist der eigentliche Kniff. Ein Modell, das bei Unsicherheit ehrlich sagt, dass es die Antwort nicht kennt, wird nicht wie ein Modell behandelt, das rät. So lässt sich Wissen von Selbstüberschätzung trennen.

Aus diesen Werten berechnet man zwei Kennzahlen. Die eine ist der Anteil korrekter Antworten an allen Fragen. Die andere betrachtet nur die Fälle, in denen das Modell überhaupt geantwortet hat. Ein System kann bei der ersten Zahl mittelmäßig sein und trotzdem sehr verlässlich, wenn es bei der zweiten stark abschneidet. Damit die Fragen wirklich eindeutig sind, mussten beim Erstellen mehrere unabhängige Personen dieselbe Antwort finden.

SimpleQA in Modell-Ankündigungen

Man stößt auf den Namen vor allem, wenn ein Unternehmen ein neues Modell vorstellt. In den Tabellen solcher Ankündigungen steht SimpleQA meist neben Tests für Mathematik und Programmieren. Firmen wie OpenAI, Google und Anthropic nutzen ihn, um zu belegen, dass ihr neues System seltener Dinge erfindet. Auch Fachartikel und Börsenberichte zitieren die Zahlen.

Ein verwandter Begriff ist Benchmark, also ein standardisierter Vergleichstest für KI-Systeme. SimpleQA ist einer von vielen, und man sollte solche Zahlen mit Vorsicht lesen. Ein bekannter Fallstrick heißt Kontamination: Wenn die Testfragen versehentlich in den Trainingsdaten eines Modells landen, sind gute Ergebnisse wertlos. Außerdem gilt der Test ohne Internetzugriff. Ein Assistent, der im Alltag Webseiten durchsuchen darf, schneidet in der Praxis oft besser ab als sein SimpleQA-Wert vermuten lässt.