Pass@1

Pass@1 ist eine Kennzahl aus Tests für KI-Systeme, die Aufgaben lösen sollen. Man gibt dem Programm eine Aufgabe und lässt es genau eine Antwort erzeugen. Diese Antwort wird geprüft: richtig oder falsch. Wiederholt man das mit vielen Aufgaben, ergibt sich ein Prozentwert. Pass@1 von 70 Prozent bedeutet also: bei 70 von 100 Aufgaben stimmte der erste Versuch. Der Name kommt aus dem Englischen und heißt frei übersetzt « beim ersten Anlauf bestanden ».

Warum der erste Versuch zählt

In der Praxis hat man oft nur einen Versuch. Wer eine KI nach einer Formel oder einem Stück Software-Code fragt, will eine brauchbare Antwort, keine Lotterie. Pass@1 misst genau diesen Alltagsfall. Deshalb steht die Zahl in fast jeder Pressemitteilung zu einem neuen Modell.

Es gibt auch die Varianten Pass@10 oder Pass@100. Dort darf das Programm zehn oder hundert Lösungen vorschlagen, und es genügt, wenn eine davon korrekt ist. Diese Werte sind immer höher als Pass@1, manchmal dramatisch. Ein Modell kann bei Pass@1 auf 40 Prozent kommen und bei Pass@100 auf 90 Prozent. Das heißt: Das nötige Wissen ist im Modell vorhanden, es trifft aber unzuverlässig die richtige Wahl.

Für Firmen ist dieser Unterschied Geld wert. Hundert Antworten kosten hundertmal Rechenzeit. Ein hoher Pass@1-Wert senkt also direkt die Betriebskosten eines Dienstes.

Vom Testfall zur Prozentzahl

Am häufigsten wird Pass@1 bei Programmieraufgaben gemessen. Ein bekannter Aufgabensatz heißt HumanEval und enthält knapp 165 kleine Programmierprobleme. Zu jeder Aufgabe gehören fertige Prüfroutinen, sogenannte Tests. Sie rufen den geschriebenen Code mit Beispielwerten auf und vergleichen das Ergebnis mit der erwarteten Ausgabe. Läuft alles durch, gilt die Aufgabe als gelöst.

Wichtig ist: Es wird nicht bewertet, ob der Code elegant aussieht oder der Musterlösung ähnelt. Nur das Verhalten entscheidet. Das macht die Messung objektiv, aber auch grob. Ein Programm kann alle Tests bestehen und trotzdem bei anderen Eingaben versagen.

Ein technisches Detail führt oft zu Verwirrung. Sprachmodelle antworten nicht jedes Mal gleich, sie enthalten einen Zufallsanteil. Deshalb lassen Forscher meist mehrere Antworten erzeugen und rechnen daraus den Erwartungswert für einen einzelnen Versuch. Pass@1 ist also normalerweise ein statistischer Durchschnitt, nicht das Ergebnis eines einzigen Durchlaufs.

Pass@1 in Modellankündigungen lesen

Wenn ein Unternehmen ein neues Modell vorstellt, findet sich Pass@1 in den Tabellen im Anhang. Dort stehen Namen wie HumanEval, MBPP oder SWE-bench, jeweils mit einem Prozentwert. Diese Zahlen sind der Grund, warum Fachmedien von « besser im Programmieren » schreiben. Auch Ranglisten im Netz, sogenannte Leaderboards, sortieren Modelle nach solchen Werten.

Man sollte die Zahlen mit Vorsicht lesen. Aufgabensätze wie HumanEval sind öffentlich und stehen im Internet. Wenn Teile davon im Trainingsmaterial eines Modells landen, kennt es die Lösungen schon. Fachleute nennen das Kontamination. Der gemessene Wert ist dann zu hoch und sagt wenig über echte Fähigkeiten.

Außerdem gilt Pass@1 nur für Aufgaben mit klar prüfbarem Ergebnis. Bei Mathematik oder Code funktioniert das gut. Für einen Aufsatz, eine Übersetzung oder eine Beratung gibt es kein automatisches Richtig oder Falsch. Dort arbeitet man mit menschlichen Bewertungen oder mit Vergleichen zwischen zwei Antworten. Pass@1 ist also eine präzise Kennzahl für einen recht schmalen, aber wirtschaftlich sehr wichtigen Bereich.