BrowseComp

BrowseComp ist eine Sammlung von 1.266 sehr kniffligen Suchfragen. Sie wurde 2025 von der Firma OpenAI veröffentlicht, die auch ChatGPT entwickelt. Getestet werden damit Programme, die selbstständig im Internet suchen dürfen. Jede Frage hat genau eine richtige Antwort, meist nur ein Name, ein Datum oder eine Zahl. Man kann also eindeutig auszählen, wie viele Antworten stimmen. Der Name ist eine Abkürzung für « Browsing Competition », also etwa Wettbewerb im Herumsurfen.

Warum kurze Antworten so schwer zu finden sind

Solche Sammlungen von Testaufgaben nennt man Benchmarks. Sie sind für die KI-Branche das, was Zeugnisnoten für die Schule sind: ein Vergleichsmaßstab. Viele ältere Benchmarks bestehen aus Wissensfragen, die ein Programm aus dem Gedächtnis beantworten kann. BrowseComp funktioniert anders. Die Fragen sind absichtlich so formuliert, dass kein Modell die Antwort auswendig weiß.

Ein typisches Beispiel klingt so: Gesucht ist ein Sportler, der zwischen 1990 und 1994 an einem bestimmten Turnier teilnahm, in einem Land mit einer bestimmten Eigenschaft geboren wurde und später den Verein wechselte. Jede einzelne Bedingung passt auf viele Menschen. Erst alle zusammen ergeben eine Person. Um sie zu finden, muss ein System mehrere Quellen kombinieren.

Genau das macht den Test interessant für Unternehmen. Sie wollen wissen, ob eine KI eigenständig recherchieren kann, statt nur zu plaudern. Die Trefferquoten waren zu Beginn niedrig: Einfache Chatbots ohne Internetzugang lagen bei unter zwei Prozent. Auch mit Suchfunktion blieben viele Systeme unter zehn Prozent. Spezialisierte Recherche-Programme kamen später auf deutlich höhere Werte.

Wie die Fragen konstruiert wurden

Die Aufgaben wurden rückwärts gebaut. Menschen suchten sich zuerst eine Antwort aus, etwa ein bestimmtes Musikalbum. Danach schrieben sie eine Frage, die auf genau dieses Album passt, ohne es zu nennen. Anschließend prüften sie zwei Dinge. Erstens: Findet eine Suchmaschine die Antwort nicht in den ersten Treffern? Zweitens: Scheitern die damals besten KI-Modelle daran?

Nur Fragen, die beide Prüfungen bestanden, kamen in die Sammlung. Dadurch enthält BrowseComp fast ausschließlich Aufgaben, bei denen bloßes Nachschlagen nicht reicht. Zusätzlich wurde gemessen, wie lange Menschen für die Lösung brauchen. Bei vielen Fragen gaben die Testpersonen nach zwei Stunden auf.

Die Bewertung selbst ist unkompliziert. Weil jede Antwort kurz ist, lässt sie sich mit der hinterlegten Lösung vergleichen. Das ist ein großer Vorteil gegenüber Tests, bei denen ein Aufsatz bewertet werden muss. Dort streiten Fachleute oft darüber, was als richtig gilt. Ein bekannter Kritikpunkt bleibt trotzdem: BrowseComp misst nur das Auffinden von Fakten, nicht das Zusammenfassen oder Abwägen.

BrowseComp in Produktankündigungen und Nachrichten

Der Begriff taucht vor allem auf, wenn Firmen neue Recherche-Funktionen vorstellen. Solche Funktionen laufen oft unter Namen wie « Deep Research » und arbeiten mehrere Minuten an einer Anfrage. In den Pressemitteilungen steht dann ein BrowseComp-Wert als Beleg für die Qualität. OpenAI, Google und chinesische Anbieter wie Alibaba nutzen den Test in ihren Veröffentlichungen.

Für Anlegerinnen und Anleger ist das relevant, weil hinter den Zahlen ein Markt steht. Automatisierte Recherche betrifft Berufe wie Analyse, Journalismus und Rechtsprüfung. Wer dort gut abschneidet, wirbt mit einem messbaren Vorsprung. Man sollte solche Zahlen aber vorsichtig lesen. Ein hoher Wert in einem Test bedeutet nicht, dass das System im Alltag verlässlich arbeitet.

Es gibt inzwischen auch Ableger. BrowseComp-ZH stellt dieselbe Art Fragen auf Chinesisch und im chinesischen Web. Andere Varianten testen Recherche in Bildern oder in wissenschaftlichen Texten. Wenn du eine Meldung mit einer Prozentzahl siehst, lohnt der Blick darauf, welche Variante gemeint ist. Die Werte sind untereinander nicht vergleichbar.