Computer Use
Computer Use bezeichnet die Fähigkeit eines KI-Programms, einen Computer so zu bedienen wie ein Mensch: Bildschirm ansehen, Maus bewegen, klicken, tippen. Die KI antwortet also nicht nur mit Text, sondern erledigt Aufgaben direkt in Programmen und im Browser.
Die meisten KI-Programme, die Texte schreiben, tun genau das: Sie geben Text zurück. Computer Use geht einen Schritt weiter. Hier bekommt das Programm ein Bild des Bildschirms zu sehen und darf selbst Maus und Tastatur steuern. Es kann also ein Fenster öffnen, in ein Suchfeld tippen, scrollen und auf Schaltflächen klicken. Der Mensch sagt nur, was das Ziel ist, zum Beispiel: « Suche im Reiseportal einen Zug nach Hamburg am Freitag. » Die einzelnen Schritte dorthin sucht sich das Programm selbst.
Warum die Maus wichtiger ist als eine Schnittstelle
Normalerweise verbindet man Programme über eine Schnittstelle, eine Art vereinbarter Steckdose für Daten. Fachleute nennen das API. Das funktioniert gut, aber nur, wenn der Anbieter so eine Steckdose überhaupt anbietet. Sehr viele Programme haben keine. Alte Firmensoftware, interne Verwaltungssysteme, Webseiten ohne Datenzugang: Da kommt man nur über die Bedienoberfläche heran.
Genau hier liegt der Reiz von Computer Use. Eine Oberfläche für Menschen ist immer da, sonst könnte niemand das Programm benutzen. Eine KI, die klicken kann, braucht also keine Kooperation des Herstellers. Sie kann theoretisch alles bedienen, was auf einem Bildschirm läuft.
Wirtschaftlich ist das der Grund für das große Interesse. Viele Bürojobs bestehen zu einem guten Teil aus Klickarbeit: Daten aus einer Mail in ein Formular übertragen, Bestellungen abgleichen, Berichte zusammenkopieren. Wenn eine Software das übernimmt, verändert das die Arbeitsteilung in Büros. Deshalb tauchen Computer-Use-Funktionen in Quartalsberichten von Tech-Konzernen als Zukunftsversprechen auf.
Sehen, entscheiden, klicken: die Schleife
Technisch läuft das in einer Schleife ab, die sich viele Male wiederholt. Zuerst wird ein Bildschirmfoto gemacht, ein sogenannter Screenshot. Dieses Bild geht an das KI-Modell, zusammen mit der Aufgabe und dem bisherigen Verlauf. Das Modell antwortet nicht mit Text, sondern mit einer Anweisung: « Klicke auf Position x, y » oder « Tippe dieses Wort ».
Ein kleines Hilfsprogramm führt diese Anweisung dann wirklich aus, so wie eine unsichtbare Hand an Maus und Tastatur. Danach wird ein neuer Screenshot gemacht, und alles beginnt von vorn. So sieht das Modell, ob der Klick gewirkt hat. Für eine einzige Aufgabe können dutzende solcher Runden nötig sein.
Damit das klappt, muss das Modell Bilder verstehen können. Solche Modelle heißen multimodal, weil sie mehrere Arten von Eingaben verarbeiten: Text und Bild. Die schwierigste Teilaufgabe ist überraschend banal. Das Modell muss erkennen, wo genau ein Knopf auf dem Bild sitzt, und zwar in Pixeln. Kleine Fehler von wenigen Millimetern führen zu Klicks ins Leere.
Deshalb ist Computer Use bis heute unzuverlässig. Aktuelle Systeme lösen bei Tests längere Büroaufgaben oft nur in einer Minderheit der Versuche vollständig. Außerdem ist die Methode langsam und teuer, weil für jeden Klick ein ganzes Bild neu analysiert wird.
Wo Klick-Agenten schon auftauchen
Anthropic hat 2024 eine Computer-Use-Funktion für sein Modell Claude veröffentlicht, OpenAI kurz darauf ähnliche Werkzeuge für den Browser. Google bietet Vergleichbares an. In Produkten heißt das oft nicht Computer Use, sondern Agent oder Assistent. Meist läuft es in einem abgeschirmten virtuellen Computer, damit die KI nicht im echten System Schaden anrichtet.
Wichtig ist die Abgrenzung zu einem älteren Verfahren namens RPA, kurz für robotergesteuerte Prozessautomatisierung. Dort klickt auch eine Software, aber nach einem starr aufgezeichneten Skript. Ändert die Webseite ihr Layout, bricht das Skript ab. Ein Computer-Use-Agent schaut hin und findet den verschobenen Knopf im Idealfall trotzdem.
Ein verbreiteter Irrtum ist, so ein Agent arbeite unbeaufsichtigt. Realistisch ist heute die Aufsicht durch einen Menschen, besonders bei Zahlungen und beim Löschen von Daten. Ein echtes Risiko heißt Prompt Injection: Auf einer Webseite steht ein Text, der wie eine Anweisung klingt, und der Agent gehorcht ihm statt seinem Nutzer. Deshalb bekommen solche Systeme meist nur eng begrenzte Rechte.