Sim-to-Real-Transfer

Roboter lernen heute oft nicht in einer Werkhalle, sondern in einer Computersimulation. Das ist eine virtuelle Nachbildung der Welt, in der ein Programm zum Beispiel Laufen oder Greifen ausprobieren kann. Dort darf es beliebig oft scheitern, ohne dass etwas kaputtgeht. Sim-to-Real-Transfer nennt man den Schritt danach: Das Gelernte wird auf die echte Maschine übertragen. Das klingt einfach, ist aber der schwierigste Teil des Verfahrens. Denn die Simulation rechnet mit vereinfachten Regeln, und die Wirklichkeit hält sich nicht daran.

Warum Roboter nicht in der echten Welt üben können

Moderne Steuerungen für Roboter entstehen häufig durch Versuch und Irrtum. Das Programm probiert eine Bewegung, bekommt eine Bewertung und passt sich an. Bis eine Steuerung brauchbar läuft, sind oft Millionen solcher Versuche nötig. Ein echter Roboter würde dafür Jahre brauchen und dabei wohl mehrfach zu Bruch gehen.

In der Simulation dauert derselbe Lernprozess Stunden bis Tage. Auf leistungsfähiger Hardware lassen sich tausende virtuelle Roboter gleichzeitig trainieren. Stürze kosten nichts, Ersatzteile gibt es unbegrenzt. Auch gefährliche Situationen lassen sich gefahrlos üben, etwa ein Ausweichmanöver eines selbstfahrenden Autos.

Der ganze Vorteil verpufft aber, wenn die Steuerung auf der echten Maschine versagt. Genau deshalb ist Sim-to-Real-Transfer eine eigene Forschungsfrage. Die Lücke zwischen Simulation und Wirklichkeit hat sogar einen eigenen Namen: Reality Gap, also Realitätslücke. Sie entsteht durch Reibung, Materialverschleiß, ungenaue Sensoren und Verzögerungen in der Elektronik. All das lässt sich nur näherungsweise berechnen.

Wie man die Realitätslücke schließt

Die wichtigste Technik heißt Domain Randomization, also gezielte Zufallsstreuung. Statt einer einzigen, möglichst genauen Simulation baut man tausende leicht verschiedene. Mal ist der Boden rutschiger, mal wiegt der Roboterarm etwas mehr, mal reagieren die Motoren träger. Die Steuerung lernt in all diesen Varianten gleichzeitig.

Das Ergebnis ist eine Steuerung, die sich nicht auf exakte Werte verlässt. Sie muss robust sein, weil sie nie weiß, in welcher Variante sie gerade steckt. Trifft sie dann auf die echte Welt, ist das für sie nur eine weitere Variante. Man kann es mit einem Schüler vergleichen, der mit hundert verschiedenen Übungsaufgaben geübt hat statt mit einer einzigen. In der Klassenarbeit überrascht ihn eine neue Aufgabe weniger.

Ein zweiter Ansatz geht umgekehrt vor. Man misst das Verhalten des echten Roboters und stellt die Simulation danach nach, bis beide übereinstimmen. Das nennt man System Identification. Häufig wird beides kombiniert und am Schluss auf der echten Maschine nachtrainiert. Ein verbreiteter Irrtum ist übrigens, bessere Grafik helfe dabei. Für die Physik zählt nicht, wie schön die Simulation aussieht, sondern wie realistisch Kräfte und Kontakte berechnet werden.

Laufroboter, Lagerhallen und Fahrassistenten

Am sichtbarsten ist Sim-to-Real-Transfer bei vierbeinigen Laufrobotern. Modelle wie der Spot von Boston Dynamics oder Forschungsroboter der ETH Zürich bewegen sich über Schotter, Treppen und Schnee. Ihre Gangsteuerung ist überwiegend in der Simulation entstanden. Dort lief sie über Millionen virtueller Untergründe, bevor sie je echten Boden berührt hat.

Auch in der Industrie ist das Verfahren angekommen. Greifarme in Lagern lernen simuliert, unbekannte Pakete aufzunehmen. Autohersteller trainieren Fahrassistenten in virtuellen Städten, weil sich seltene Unfallsituationen dort beliebig oft erzeugen lassen. Nvidia verkauft mit Isaac Sim eine Plattform genau für diesen Zweck, was den Begriff regelmäßig in Wirtschaftsnachrichten bringt.

In Meldungen über humanoide Roboter taucht Sim-to-Real fast immer auf. Wenn eine Firma ankündigt, ihr Roboter habe eine Aufgabe in wenigen Tagen gelernt, steckt meist Simulationstraining dahinter. Skeptisch sollte man werden, wenn nur Videos aus der Simulation gezeigt werden. Erst der Auftritt in der echten Welt beweist, dass der Transfer geglückt ist.