Vision-Language-Action
Vision-Language-Action bezeichnet KI-Modelle, die Kamerabilder und einen Auftrag in normaler Sprache entgegennehmen und daraus direkt Bewegungen für einen Roboter berechnen. Sie verbinden Sehen, Sprachverstehen und Handeln in einem einzigen System statt in getrennten Programmen.
Ein Roboterarm soll den Apfel vom Tisch in die Schale legen. Früher brauchte es dafür drei getrennte Programme: eines, das im Kamerabild den Apfel findet, eines, das den Satz auswertet, und eines, das die Motoren steuert. Ein Vision-Language-Action-Modell macht all das in einem Stück. Es bekommt laufend Bilder und den Auftrag als Text und gibt direkt Steuerbefehle aus, etwa wie weit sich jedes Gelenk drehen soll. Die drei Wörter im Namen stehen genau für diese drei Teile: Sehen, Sprache, Handlung. Solche Modelle sind der Kern dessen, was aktuell als Grundlage für menschenähnliche Roboter entwickelt wird.
Warum Roboter bisher an der echten Welt scheitern
Industrieroboter sind seit Jahrzehnten sehr gut in einer einzigen Aufgabe. Sie schweißen dieselbe Naht millionenfach, aber immer an derselben Stelle. Sobald ein Werkstück zwei Zentimeter verrutscht ist, geht der Griff daneben. Die Bewegungen sind fest programmiert und kennen die Umgebung nicht wirklich.
Vision-Language-Action-Modelle sollen dieses starre Verhalten ablösen. Sie lernen aus vielen Beispielen, wie eine Aufgabe typischerweise aussieht, statt eine feste Abfolge abzuspulen. Deshalb kann ein solches Modell auch mit einem Apfel umgehen, den es so noch nie gesehen hat. Fachleute nennen diese Übertragung auf Neues Generalisierung.
Wirtschaftlich ist das der eigentliche Punkt. Ein Roboter, dem man Aufgaben in normalen Sätzen sagen kann, braucht keine teure Neuprogrammierung für jede Variante. Firmen wie Tesla, Figure oder Google investieren aus diesem Grund Milliarden in die Technik. Ob die Modelle zuverlässig genug für den Dauerbetrieb werden, ist allerdings offen.
Vom Kamerabild zum Motorbefehl
Die Grundlage ist meist ein bereits trainiertes Modell, das Bilder und Text gemeinsam versteht. Solche Modelle haben aus Millionen von Fotos mit Bildunterschriften gelernt, wie Gegenstände aussehen und heißen. Dieses Wissen ist wertvoll: Das Modell weiß bereits, was ein Apfel ist, bevor es je einen Roboterarm gesteuert hat. Man muss ihm nur noch beibringen, aus diesem Verständnis Bewegungen abzuleiten.
Dafür wird es mit aufgezeichneten Robotereinsätzen weitertrainiert. Menschen führen den Arm per Fernsteuerung durch die Aufgabe, während Kamerabilder und Gelenkstellungen mitgeschrieben werden. Aus solchen Aufnahmen lernt das Modell den Zusammenhang zwischen Bild, Auftrag und der nächsten sinnvollen Bewegung. Man kann es sich vorstellen wie einen Fahrschüler, der durch Zusehen und Nachmachen lernt statt durch Regeln.
Im Betrieb läuft das dann in einer schnellen Schleife ab. Das Modell sieht ein Bild, gibt einen kleinen Bewegungsschritt aus, sieht das neue Bild und korrigiert. Das passiert mehrmals pro Sekunde, oft zwischen zehn und fünfzig Mal. Genau hier liegt eine große Schwierigkeit: Große Modelle rechnen langsam, aber ein Arm, der zu spät reagiert, stößt den Apfel um.
Humanoide, Lagerhallen und die Grenzen der Demovideos
In den Nachrichten tauchen Vision-Language-Action-Modelle vor allem im Zusammenhang mit humanoiden Robotern auf. Das sind Maschinen mit zwei Armen und zwei Beinen, die Wäsche falten oder Kisten sortieren. Auch in Lagerhallen und in der Fertigung laufen Pilotprojekte. Google veröffentlichte mit RT-2 eines der ersten bekannten Modelle dieser Art, inzwischen gibt es zahlreiche Nachfolger.
Beim Ansehen der Videos lohnt sich Skepsis. Viele Vorführungen laufen in aufgeräumten Räumen, im zwanzigsten Versuch und teilweise in Zeitraffer. Der Unterschied zwischen einer gelungenen Vorführung und einem Gerät, das acht Stunden am Tag zuverlässig arbeitet, ist enorm. Ein verbreiteter Irrtum ist außerdem, ein Sprachmodell im Chat sei schon fast ein Robotersteuerungsmodell. Text kann man nachbessern, eine falsche Armbewegung nicht.
Der größte Engpass sind derzeit die Daten. Texte gibt es im Internet praktisch unbegrenzt, Aufzeichnungen echter Robotertätigkeiten müssen dagegen mühsam erzeugt werden. Deshalb sammeln Forschungsgruppen ihre Aufnahmen inzwischen in gemeinsamen Datensätzen und trainieren teilweise in Simulationen. Wie gut sich in der Simulation Gelerntes auf echte Hardware übertragen lässt, gehört zu den offenen Fragen des Feldes.