WebArena
WebArena ist eine Testumgebung, in der Computerprogramme selbstständig echte Webseiten bedienen müssen, um Aufgaben wie eine Bestellung oder eine Suche zu erledigen. Sie dient als Messlatte dafür, wie zuverlässig heutige KI-Systeme im Internet handeln können.
WebArena ist ein Testverfahren für Programme, die selbstständig Webseiten bedienen sollen. Dafür wurden vollständige Nachbauten echter Internetseiten aufgesetzt: ein Onlineshop, ein Diskussionsforum, eine Landkarte, eine Software-Plattform. Diese Seiten laufen auf eigenen Servern der Forscher und sind vom offenen Internet abgetrennt. Ein Programm bekommt dort eine Aufgabe in normaler Sprache gestellt, etwa: Finde die günstigste Kamera unter hundert Euro und lege sie in den Warenkorb. Danach muss es klicken, tippen und scrollen wie ein Mensch. Am Ende prüft WebArena automatisch, ob das Ergebnis wirklich stimmt. Entwickelt wurde die Umgebung 2023 an der Carnegie Mellon University in den USA.
Warum Klicken schwerer ist als Antworten
Die meisten bekannten Prüfungen für KI-Systeme bestehen aus Fragen und Antworten. Das Modell schreibt einen Text, jemand vergleicht ihn mit der Musterlösung. WebArena verlangt etwas anderes: Das Programm muss handeln und dabei etwas verändern. Eine falsche Antwort ist ärgerlich, eine falsche Bestellung kostet Geld.
Genau deshalb ist der Test aussagekräftig. Er misst nicht, ob ein System plausibel klingt, sondern ob am Schluss die richtige Ware im Warenkorb liegt. Fachleute nennen so etwas eine ergebnisbasierte Bewertung. Ein Programm kann sich also nicht durch geschickte Formulierungen herausreden.
Die Ergebnisse waren zu Beginn ernüchternd. Die besten Systeme lösten nur etwa 14 Prozent der Aufgaben, Menschen dagegen rund 78 Prozent. Diese Lücke ist zum wichtigsten Argument gegen zu große Erwartungen an sogenannte KI-Agenten geworden. Damit sind Programme gemeint, die nicht nur reden, sondern Aufgaben eigenständig zu Ende bringen sollen.
Ein Nachbau des Internets im Labor
Der zentrale Trick von WebArena ist die Abgeschlossenheit. Echte Webseiten ändern sich täglich, Preise schwanken, Angebote verschwinden. Ein Test auf solchen Seiten wäre morgen nicht mehr wiederholbar. Die nachgebauten Seiten dagegen sehen bei jedem Durchlauf gleich aus. So lassen sich zwei Systeme fair vergleichen.
Der Ablauf ist immer derselbe. Das Programm sieht den aktuellen Zustand der Seite, meist als Textbeschreibung der vorhandenen Knöpfe, Felder und Links. Dann wählt es eine Aktion aus, etwa einen Klick auf ein bestimmtes Element. Die Seite reagiert, ein neuer Zustand entsteht, und der Kreislauf beginnt von vorn. Manche Aufgaben brauchen dreißig Schritte oder mehr.
Die Prüfung am Ende läuft ohne Menschen. Für jede der über 800 Aufgaben ist hinterlegt, woran man den Erfolg erkennt. Mal ist es ein Text, der in der Antwort vorkommen muss. Mal wird direkt in der Datenbank nachgesehen, ob der Eintrag wirklich angelegt wurde. Typische Fehlerquellen sind lange Ketten: Ein einziger falscher Klick in Schritt drei macht alle folgenden Schritte wertlos.
Wo die Zahlen in Meldungen auftauchen
Wenn ein Unternehmen ein neues KI-System vorstellt, das im Browser arbeiten soll, steht in der Pressemitteilung fast immer ein Prozentwert. WebArena ist dabei eine der Zahlen, die genannt werden, neben verwandten Tests wie WebVoyager oder OSWorld. Steigt der Wert von 15 auf 40 Prozent, gilt das in der Branche als deutlicher Fortschritt.
Für die Praxis ist die Einordnung wichtiger als die Zahl selbst. 40 Prozent bedeutet, dass mehr als jede zweite Aufgabe scheitert. Ein solches System kann man noch nicht unbeaufsichtigt mit einer Kreditkarte arbeiten lassen. Genau darauf zielen aber Produkte, die den Einkauf oder die Buchung einer Reise übernehmen sollen.
Ein häufiger Irrtum ist, Ergebnisse aus WebArena direkt auf das echte Internet zu übertragen. Dort gibt es Werbebanner, Cookie-Hinweise, Anmeldeformulare und Prüfungen, die Maschinen aussperren sollen. Auf echten Seiten fallen die Erfolgsquoten deshalb meist noch weiter. Der Benchmark zeigt eine Untergrenze der Schwierigkeit, nicht die volle Realität.