AutomationBench

AutomationBench ist eine Sammlung von Testaufgaben für Computerprogramme, die selbstständig Arbeit erledigen sollen. Solche Programme bekommen einen Auftrag in normaler Sprache, etwa: „Fasse die Rechnungen des letzten Monats in einer Tabelle zusammen und schicke sie an die Buchhaltung.“ Anschließend müssen sie ohne weitere Hilfe alle nötigen Schritte selbst ausführen. AutomationBench stellt genau solche Aufträge und misst danach, ob das Ergebnis stimmt. Es geht also nicht darum, ob eine Antwort klug klingt, sondern ob eine Aufgabe wirklich fertig wurde. Der Name setzt sich aus „Automation“ für Automatisierung und „Bench“ für Benchmark zusammen, also für einen standardisierten Vergleichstest.

Warum Firmen auf diese Zahlen schauen

Viele Unternehmen wollen KI nicht nur zum Texteschreiben nutzen. Sie wollen Routinearbeit abgeben: Bestellungen erfassen, Termine koordinieren, Daten zwischen Systemen übertragen. Ob ein Anbieter das wirklich kann, lässt sich seiner Werbung schlecht entnehmen. Ein gemeinsamer Test schafft hier eine Vergleichsgrundlage.

Der Unterschied zu älteren Tests ist groß. Frühere Prüfungen bestanden aus Wissensfragen oder Matheaufgaben mit einer einzigen richtigen Lösung. Ein Modell konnte darin stark sein und trotzdem an einer simplen Abfolge von fünf Arbeitsschritten scheitern. Genau diese Lücke soll AutomationBench sichtbar machen.

Für Anleger und Journalisten sind solche Werte zu einer Art Währung geworden. Steigt ein Anbieter von 30 auf 55 Prozent gelöster Aufgaben, gilt das als handfester Fortschritt. Man sollte die Zahlen trotzdem vorsichtig lesen. Ein Testergebnis beschreibt nur die Aufgaben im Test, nicht den Alltag in jedem Büro.

Wie eine Testaufgabe abläuft

Jede Aufgabe startet in einer vorbereiteten Arbeitsumgebung. Das ist meist ein abgeschotteter Computer mit Tabellenprogramm, Postfach, Kalender und einigen Dateien. Diese Umgebung ist immer gleich aufgebaut, damit alle Systeme dieselben Startbedingungen haben. Dann bekommt die KI ihren Auftrag als kurzen Text.

Nun arbeitet das System in Schritten. Es liest den Bildschirminhalt oder ruft Programmfunktionen auf, klickt, tippt, speichert. Nach jedem Schritt sieht es das Ergebnis und entscheidet über den nächsten. Solche selbstständig handelnden Programme nennt man Agenten. Ein Zeitlimit oder eine Obergrenze an Schritten verhindert endloses Herumprobieren.

Am Ende zählt allein der Zustand der Umgebung. Ein Prüfskript schaut nach, ob die Datei existiert, ob die Zahlen stimmen und ob die Mail beim richtigen Empfänger liegt. Der Weg dorthin wird nicht bewertet. Das Hauptergebnis ist die Erfolgsquote: der Anteil der Aufgaben, die vollständig korrekt abgeschlossen wurden. Häufig wird zusätzlich erfasst, wie viele Schritte und wie viel Rechenzeit nötig waren.

AutomationBench in Produktankündigungen

Am häufigsten begegnet der Begriff in Meldungen über neue KI-Modelle. Anbieter veröffentlichen dort Balkendiagramme mit ihrer Erfolgsquote im Vergleich zur Konkurrenz. Auch in Analystenberichten über den Markt für Bürosoftware tauchen die Werte auf. Wer die Zahlen einordnen will, sollte prüfen, welche Aufgabengruppe gemeint ist, denn Tests bestehen meist aus mehreren Kategorien.

Ein verbreiteter Irrtum ist, eine hohe Punktzahl bedeute einsatzbereite Software. Testaufgaben sind sauber formuliert und haben eine eindeutige Lösung. Echte Aufträge von Kollegen sind oft unvollständig, widersprüchlich oder ändern sich mitten in der Arbeit. Deshalb liegen die Quoten in der Praxis regelmäßig unter den Testwerten.

Ein zweites Problem ist Kontamination: Wenn Testaufgaben ins Trainingsmaterial eines Modells geraten, kennt es die Lösungen bereits. Die Betreiber solcher Benchmarks halten deshalb oft einen Teil der Aufgaben geheim. Wer eine neue Bestmarke liest, sollte also immer fragen, wer getestet hat und mit welchen Aufgaben.