OSWorld

OSWorld ist ein standardisierter Test für Computerprogramme, die selbstständig einen Rechner bedienen sollen. Solche Programme sehen den Bildschirm, bewegen den Mauszeiger und tippen auf der Tastatur — so wie ein Mensch es tun würde. OSWorld stellt ihnen rund 370 Aufgaben, die aus dem Büroalltag stammen: eine Tabelle sortieren, eine Datei umbenennen, eine Einstellung im Browser ändern. Die Aufgaben laufen nicht in einer Nachbildung, sondern in einem echten Betriebssystem, meist Linux, teils auch Windows. Am Ende prüft ein Skript, ob das Ergebnis tatsächlich stimmt. Der Test wurde 2024 von Forschenden der Universität Hongkong und weiterer Einrichtungen veröffentlicht und ist frei verfügbar.

Der Härtetest für Computer bedienende KI

Sprachmodelle sind gut darin, Texte zu schreiben. Ob sie auch handeln können, ist eine ganz andere Frage. Genau diese Lücke misst OSWorld. Ein Modell, das flüssig über Tabellenkalkulation reden kann, scheitert womöglich daran, in einer echten Tabelle die richtige Zelle anzuklicken.

Die Zahlen zeigen das deutlich. Menschen lösen über 70 Prozent der OSWorld-Aufgaben. Die ersten getesteten KI-Systeme kamen 2024 auf etwa 12 Prozent. Bis 2025 stiegen die besten Werte auf ungefähr 60 Prozent. Dieser Anstieg ist einer der Gründe, warum viele Unternehmen inzwischen auf sogenannte Agenten setzen — KI-Systeme, die nicht nur antworten, sondern Aufgaben ausführen.

Für Anleger und Beobachter ist OSWorld deshalb ein Fieberthermometer. Wenn OpenAI, Anthropic oder Google ein neues Modell vorstellen, das den Computer bedienen kann, steht der OSWorld-Wert fast immer in der Pressemitteilung. Er ist zu einer der Standardzahlen geworden, an denen sich Fortschritt in diesem Bereich ablesen lässt.

Virtuelle Maschine, Screenshot, Klick

Der Test startet für jede Aufgabe eine virtuelle Maschine. Das ist ein vollständiger Computer, der als Programm auf einem anderen Computer läuft. So beginnt jeder Versuch mit demselben sauberen Ausgangszustand, und nichts kann echte Daten beschädigen.

Dann läuft eine Schleife ab. Die KI erhält ein Bild des Bildschirms und die Aufgabenstellung. Sie entscheidet, was zu tun ist, und gibt eine Aktion aus: Klick auf diese Koordinate, tippe diesen Text, drücke Strg+S. Die Aktion wird ausgeführt, ein neuer Screenshot entsteht, die Schleife beginnt von vorn. Nach einer festgelegten Zahl von Schritten ist Schluss.

Die Bewertung ist der raffinierteste Teil. Für jede Aufgabe gibt es ein eigenes Prüfskript, das den Endzustand des Systems untersucht. Es öffnet etwa die gespeicherte Datei und schaut nach, ob die Spalte wirklich sortiert ist. Bewertet wird also das Ergebnis, nicht der Weg dorthin. Nachdem 2025 auffiel, dass einige Prüfskripte fehlerhaft waren, entstand eine überarbeitete Fassung namens OSWorld-Verified.

Von der Laborzahl zum Produkt auf dem Bildschirm

Direkt begegnet einem OSWorld selten — es ist ein Werkzeug für Forschung und Entwicklung. Indirekt aber sehr wohl. Funktionen wie Anthropics « Computer Use », OpenAIs Operator oder Googles Project Mariner sind genau die Art von System, die OSWorld misst. Wenn solche Werkzeuge in Office-Programmen oder Browsern auftauchen, steckt dieser Testbereich dahinter.

In Meldungen taucht der Name meist als Prozentzahl auf, etwa: « erreicht 62 Prozent auf OSWorld ». Solche Angaben sollte man vorsichtig lesen. Die Ergebnisse hängen stark davon ab, wie viele Schritte erlaubt waren und welche Fassung des Tests benutzt wurde. Zwei Zahlen aus verschiedenen Pressemitteilungen sind nicht automatisch vergleichbar.

Ein verbreiteter Irrtum ist außerdem, ein hoher Wert bedeute einen zuverlässigen digitalen Assistenten. Selbst 60 Prozent heißen: In vier von zehn Fällen geht etwas schief. Bei einer Überweisung oder einer gelöschten Datei wäre das schwer zu verantworten. Deshalb laufen solche Systeme bislang meist unter menschlicher Aufsicht.