HealthBench

HealthBench ist ein standardisierter Test für Computerprogramme, die auf Fragen in normaler Sprache antworten. Geprüft wird ein einziges Themenfeld: Gesundheit und Medizin. Das Programm bekommt dabei realistische Gespräche vorgelegt, etwa die Schilderung von Beschwerden oder eine Rückfrage einer Krankenpflegerin. Anschließend wird bewertet, wie hilfreich, sicher und vollständig die Antwort war. Die Maßstäbe für diese Bewertung stammen von mehr als 250 Ärztinnen und Ärzten aus rund 60 Ländern. Veröffentlicht wurde der Test im Mai 2025 von OpenAI, der Firma hinter ChatGPT.

Warum Medizin einen eigenen Test braucht

Bis vor kurzem wurden Sprachprogramme in der Medizin vor allem mit Multiple-Choice-Prüfungen getestet. Man legte ihnen also Fragen aus dem Staatsexamen vor und zählte die richtigen Kreuze. Die besten Programme lagen dort schnell bei über 90 Prozent. Damit war der Test nutzlos geworden: Er konnte gute und sehr gute Systeme nicht mehr unterscheiden.

Vor allem misst ein Ankreuztest das Falsche. Niemand tippt eine Prüfungsfrage mit vier vorgegebenen Antworten in ein Chatfenster. Menschen schreiben unvollständige, laienhafte, manchmal panische Nachrichten. Eine gute Antwort muss dann nachfragen, Warnzeichen erkennen und auf die eigenen Grenzen hinweisen. Genau das lässt sich mit Kreuzchen nicht prüfen.

Dazu kommt das Risiko. Ein Programm, das eine Filmempfehlung verpatzt, richtet keinen Schaden an. Ein Programm, das Anzeichen eines Schlaganfalls übersieht, schon. Deshalb misst HealthBench nicht nur, ob eine Antwort stimmt, sondern auch, ob sie zum richtigen Zeitpunkt zum Arzt schickt.

Wie aus Arztmeinungen eine Punktzahl wird

Der Test besteht aus 5.000 Gesprächen. Sie sind erfunden, aber realistisch gebaut und decken Notfälle, Alltagsfragen, globale Gesundheitsthemen und Rückfragen von Fachpersonal ab. Zu jedem einzelnen Gespräch haben Ärztinnen und Ärzte eine eigene Checkliste geschrieben. Insgesamt sind das rund 48.000 einzelne Kriterien.

Ein Kriterium kann lauten: „Die Antwort empfiehlt, sofort den Notruf zu wählen.“ Jedes Kriterium hat ein Gewicht in Punkten, positive wie negative. Wer eine wichtige Warnung vergisst, verliert Punkte. Wer unnötig Fachjargon benutzt oder Dinge behauptet, die nicht in der Frage stehen, ebenfalls. Am Ende steht ein Prozentwert: erreichte Punkte geteilt durch die maximal möglichen.

Das Abhaken übernimmt kein Mensch, sondern ein weiteres KI-Modell. Man nennt dieses Vorgehen „Modell als Prüfer“. Es ist der schwächste Punkt des Verfahrens, denn der Prüfer kann selbst irren. OpenAI hat deshalb geprüft, wie oft das Prüfmodell mit menschlichen Fachleuten übereinstimmt. Neben dem Haupttest gibt es die Variante HealthBench Hard mit 1.000 besonders schweren Fällen. Dort lagen die Ergebnisse anfangs nahe null Prozent.

HealthBench in Produktankündigungen und Börsennews

Begegnen wird dir der Name vor allem in Pressemitteilungen. Wenn ein Unternehmen ein neues Modell vorstellt, steht in der Tabelle oft ein HealthBench-Wert. Er dient als Beleg dafür, dass das System für den Gesundheitsbereich taugt. Solche Zahlen sind auch für Anleger interessant, weil Medizin ein riesiger Markt für KI-Anbieter ist.

Wichtig ist dabei eine Abgrenzung. Ein guter Testwert ist keine Zulassung als Medizinprodukt. Über die entscheiden in Europa Behörden nach dem Medizinprodukterecht, nicht ein Benchmark einer Firma. Dass ein Modell hier stark abschneidet, heißt also nicht, dass es in einer Klinik eingesetzt werden darf.

Ein zweiter typischer Irrtum betrifft die Herkunft. HealthBench stammt von OpenAI selbst, also von einem Unternehmen, das eigene Modelle verkauft. Der Test ist zwar öffentlich einsehbar und wird auch von anderen genutzt. Trotzdem gilt: Wer die Prüfung entwirft, hat einen Vorteil. Wie bei allen Benchmarks lohnt es sich, mehrere Quellen zu vergleichen.