Computer-Use-Agent

Ein Computer-Use-Agent ist ein Programm mit künstlicher Intelligenz, das einen Rechner selbst bedient. Es bekommt Bilder des Bildschirms zu sehen, so wie ein Mensch. Dann entscheidet es, wohin der Mauszeiger klicken soll und welche Tasten gedrückt werden. So kann es einen Browser öffnen, ein Formular ausfüllen oder eine Datei in einer Tabelle speichern. Der Unterschied zu einem normalen Chatprogramm ist wichtig: Ein Chatprogramm antwortet mit Text, dieses System handelt selbst. Man gibt ihm ein Ziel in normaler Sprache, etwa „Buche den günstigsten Zug nach Hamburg am Freitag“. Den Weg dorthin sucht es sich in kleinen Schritten selbst.

Warum Klicken statt Programmierschnittstelle

Software lässt sich normalerweise über sogenannte Schnittstellen steuern, also fest vereinbarte Befehle für Programme. Solche Schnittstellen sind zuverlässig, aber nicht jedes Programm hat eine. Viele Firmen arbeiten mit alter Branchensoftware, für die es nichts dergleichen gibt. Ein Agent, der einfach klickt und tippt, funktioniert dagegen überall dort, wo auch ein Mensch arbeiten könnte.

Deshalb gilt diese Technik als möglicher großer Schritt bei der Automatisierung von Büroarbeit. Gemeint sind stumpfe Abläufe: Daten aus Mails in ein System übertragen, Rechnungen prüfen, Bestellungen nachverfolgen. Genau solche Aufgaben kosten heute viele Arbeitsstunden. Anbieter wie OpenAI, Anthropic und Google haben seit 2024 eigene Versionen vorgestellt, was das Thema auch für Anleger interessant macht.

Gleichzeitig entstehen neue Risiken. Ein Agent mit Maus und Tastatur kann Dateien löschen, Geld überweisen oder Daten verschicken. Ein Textmodell, das sich irrt, schreibt nur Unsinn. Ein handelnder Agent, der sich irrt, richtet echten Schaden an.

Die Schleife aus Sehen, Denken und Klicken

Im Kern läuft immer dieselbe Schleife. Zuerst wird ein Bildschirmfoto aufgenommen, ein sogenannter Screenshot. Dieses Bild geht an ein Modell, das Bilder und Text zugleich verarbeiten kann. Das Modell beschreibt, was es sieht, und schlägt die nächste Aktion vor. Diese Aktion wird ausgeführt, dann beginnt alles von vorn.

Die schwierigste Teilaufgabe heißt Verankerung: Das Modell muss angeben, an welcher Bildstelle sich der gemeinte Knopf befindet. Es liefert also Koordinaten, etwa Pixel 840 von links und 312 von oben. Kleine Abweichungen führen zu Fehlklicks. Manche Systeme nutzen deshalb zusätzlich den Quelltext einer Webseite, um Schaltflächen sicherer zu finden.

Damit Fehler nicht eskalieren, laufen solche Agenten meist in einer abgeschotteten Umgebung, einer virtuellen Maschine. Das ist ein simulierter Computer im Computer, dessen Schaden begrenzt bleibt. Bei heiklen Schritten wie Zahlungen fragt der Agent zurück. Ein bekanntes Problem sind versteckte Anweisungen auf Webseiten, die den Agenten umlenken sollen. Fachleute nennen das Prompt Injection, also eingeschmuggelte Befehle.

Wo diese Agenten heute schon arbeiten

Verbraucher treffen die Technik bisher vor allem in Browsern. Es gibt Funktionen, die selbstständig Produkte vergleichen, Warenkörbe füllen oder Termine aus einer Webseite in den Kalender übertragen. Diese Angebote sind oft an ein kostenpflichtiges Abo gebunden und arbeiten spürbar langsamer als ein geübter Mensch.

In Unternehmen geht es weniger um Einkäufe als um Routine im Hintergrund. Getestet werden etwa das Übertragen von Kundendaten zwischen Systemen oder das automatische Durchklicken von Software beim Qualitätstest. Fortschritte werden mit Testreihen wie OSWorld gemessen, die dem Agenten hunderte echte Computeraufgaben stellen. Die Erfolgsquoten lagen dort lange deutlich unter denen von Menschen, steigen aber schnell.

Ein verbreiteter Irrtum ist, ein Computer-Use-Agent sei dasselbe wie klassische Büroautomatisierung. Diese ältere Technik folgt starren, von Hand aufgezeichneten Klickfolgen und bricht ab, sobald sich ein Fenster verschiebt. Der Agent entscheidet dagegen bei jedem Schritt neu und kann sich anpassen. Dafür ist er weniger vorhersehbar und teurer im Betrieb.