Automatisierungsbenchmark
Ein Automatisierungsbenchmark ist ein standardisierter Test, der messen soll, wie gut ein Computerprogramm echte Arbeitsaufgaben selbstständig erledigt. Statt einzelne Fragen zu beantworten, muss das Programm eine komplette Aufgabe zu Ende bringen — etwa eine Tabelle auswerten oder eine Buchung im Browser abschließen.
Wenn zwei Programme dieselbe Aufgabe lösen sollen, braucht man einen faire Vergleich. Genau dafür gibt es Benchmarks: festgelegte Testaufgaben, die jeder unter gleichen Bedingungen durchlaufen muss. Ein Automatisierungsbenchmark ist eine besondere Sorte davon. Hier geht es nicht um Wissensfragen, sondern um vollständige Arbeitsvorgänge, die sonst ein Mensch am Rechner ausführen würde. Das Programm bekommt einen Auftrag, darf selbst Schritte planen und wird nur am Endergebnis gemessen. Beispiele für solche Aufträge: einen Flug zu einem bestimmten Preis suchen, Zahlen aus drei Dateien in eine Übersicht bringen oder einen Fehler in einem Programmtext beheben.
Was der Test über die Wirtschaft verrät
Für Unternehmen ist die spannende Frage nicht, ob eine KI klug klingt. Spannend ist, ob sie eine bezahlte Tätigkeit übernehmen kann. Genau diese Lücke sollen Automatisierungsbenchmarks schließen. Sie übersetzen die vage Aussage « das Modell ist besser geworden » in eine Zahl: Anteil der vollständig erledigten Aufgaben.
Diese Zahlen wandern direkt in Investorengespräche und Börsenanalysen. Steigt die Erfolgsquote in einem Bürobenchmark von 15 auf 40 Prozent, gilt das als Hinweis auf ein neues Marktsegment. Umgekehrt beruhigen niedrige Werte: Wer sieht, dass Modelle mehrstündige Aufgaben nur selten fehlerfrei abschließen, erwartet keinen sofortigen Stellenabbau.
Wichtig ist die Abgrenzung zu klassischen Wissenstests. Ein Prüfungsbenchmark fragt Fakten oder Rechenwege ab und vergibt Punkte für einzelne Antworten. Ein Automatisierungsbenchmark verlangt eine Kette aus vielen Schritten. Fällt ein Zwischenschritt aus, ist meist die ganze Aufgabe verloren. Deshalb liegen die Erfolgsquoten hier deutlich niedriger als in Schulaufgaben-Tests.
Vom Auftrag bis zur Erfolgsquote
Ein solcher Test besteht aus drei Teilen. Erstens die Aufgabensammlung: hunderte klar formulierte Aufträge mit einem definierten Ziel. Zweitens die Umgebung, in der gearbeitet wird — ein nachgebauter Webshop, ein Betriebssystem in einem abgeschotteten Container oder ein Firmennetz aus Testdaten. Drittens die Bewertung, die prüft, ob das Ziel erreicht wurde.
Die Bewertung läuft möglichst automatisch. Man schaut nicht auf den Text der KI, sondern auf den Zustand danach: Steht der richtige Wert in der Zelle? Existiert die bestellte Rechnung in der Datenbank? Läuft der reparierte Programmcode ohne Fehler durch? Das nennt man eine ergebnisbasierte Prüfung, weil nur der Endzustand zählt.
Ein zweiter Messwert ist die Aufgabenlänge. Man schätzt, wie lange ein geübter Mensch für den Auftrag bräuchte, und schaut, bis zu welcher Dauer die KI noch zuverlässig durchhält. Manche Benchmarks messen zusätzlich die Kosten, also Rechenzeit und Geld pro gelöster Aufgabe. Ein häufiger Irrtum ist, hohe Punktzahlen mit Alltagstauglichkeit zu verwechseln. Testumgebungen sind aufgeräumt, echte Firmensysteme sind es nie.
Wo diese Zahlen auftauchen
Am sichtbarsten sind sie bei Produktvorstellungen. Wenn ein Hersteller ein neues Modell zeigt, stehen auf den Folien Balkendiagramme mit Namen wie SWE-bench für Programmieraufgaben, WebArena für Browserarbeit oder OSWorld für Aufgaben am Betriebssystem. Diese Werte werden anschließend in Fachmedien und Börsenberichten zitiert.
Auch mittelbar begegnet man ihnen. Firmen, die KI-Assistenten einkaufen, verlangen inzwischen eigene Testaufgaben aus dem Betriebsalltag. Behörden und Prüfstellen diskutieren, ob solche Tests Teil von Sicherheitsauflagen werden. Und wer über die Zukunft von Bürojobs liest, liest fast immer Zahlen aus Automatisierungsbenchmarks — manchmal ohne dass die Quelle genannt wird.
Ein Punkt lohnt Misstrauen: Sobald ein Benchmark bekannt ist, kann seine Lösung ins Training der Modelle geraten. Dann steigen die Werte, ohne dass die Fähigkeit wächst. Fachleute sprechen von Kontamination. Deshalb werden neue Testsätze oft geheim gehalten oder regelmäßig ausgetauscht.