Real-to-Sim

Real-to-Sim heißt übersetzt « von der Wirklichkeit zur Nachbildung ». Gemeint ist ein Vorgehen, bei dem man einen echten Ort mit Kameras und Messgeräten erfasst und daraus ein Computermodell baut. In diesem Modell kann man dann alles durchspielen, was in der Wirklichkeit teuer, langsam oder gefährlich wäre. Ein Küchenroboter kann so tausendmal virtuell nach einer Tasse greifen, bevor er echtes Geschirr anfasst. Wichtig ist dabei nicht nur, dass die Nachbildung gleich aussieht. Sie muss sich auch gleich verhalten: Ein Tisch muss genauso rutschig sein, ein Karton genauso schwer.

Warum Roboter lieber am Modell üben

Moderne Robotersteuerungen lernen aus Versuch und Irrtum. Sie brauchen dafür sehr viele Versuche, oft Millionen. In der echten Welt ist das kaum machbar. Ein Roboterarm bewegt sich in Echtzeit, geht kaputt, braucht Strom und einen Menschen, der ihn zurücksetzt.

Im Computermodell laufen die Versuche dagegen schneller als in Echtzeit und hundertfach parallel. Was ein Roboter in der Werkstatt in einem Jahr üben würde, schafft eine Rechenanlage über Nacht. Auch Unfälle kosten nichts: Ein virtueller Wagen darf gegen die virtuelle Wand fahren.

Dazu kommt ein zweiter Vorteil. Man kann Situationen erzeugen, die in echt selten sind. Ein Kind, das plötzlich hinter einem parkenden Auto hervorläuft, gehört zu den wichtigsten Testfällen für selbstfahrende Autos. Absichtlich herbeiführen kann man ihn nur in der Nachbildung.

Vom Foto zur begehbaren Kopie

Am Anfang steht das Erfassen. Man filmt einen Raum aus vielen Blickwinkeln, oft zusätzlich mit einem Laserscanner, der Entfernungen misst. Aus diesen Daten rechnet ein Programm eine dreidimensionale Form. Verfahren wie Gaussian Splatting erzeugen daraus fotorealistische Ansichten, also Bilder, die von einer echten Aufnahme kaum zu unterscheiden sind.

Danach kommt der schwierigere Teil: die Physik. Die Nachbildung braucht Angaben zu Gewicht, Reibung und Härte jedes Gegenstands. Diese Werte stehen in keinem Foto. Man schätzt sie, probiert sie aus und vergleicht: Rollt der echte Ball genauso weit wie der virtuelle? Weicht das Ergebnis ab, korrigiert man die Werte. Dieses Nachjustieren nennt man Kalibrierung.

Trotzdem bleibt immer ein Unterschied zwischen Modell und Wirklichkeit. Fachleute nennen ihn Reality Gap, also Realitätslücke. Ein häufiger Irrtum ist, man müsse die Nachbildung nur genau genug machen, dann verschwinde die Lücke. In der Praxis geht man anders vor: Man verändert die Nachbildung absichtlich zufällig, macht den Boden mal rutschiger, das Licht mal dunkler. Eine Steuerung, die unter allen diesen Varianten funktioniert, übersteht auch die echte Welt. Der Weg zurück heißt dann Sim-to-Real.

Digitale Zwillinge in Fabrik und Verkehr

In den Nachrichten taucht Real-to-Sim meist unter dem Stichwort digitaler Zwilling auf. Autohersteller bauen komplette Fabrikhallen im Rechner nach, bevor sie eine einzige Maschine umstellen. Nvidia verkauft mit Omniverse eine Software genau dafür, Siemens und Tesla arbeiten mit ähnlichen Systemen. Für Anleger ist das interessant, weil dieselben Grafikkarten gebraucht werden wie für andere KI-Anwendungen.

Beim autonomen Fahren ist der Ansatz Standard. Firmen wie Waymo spielen aufgezeichnete Straßenszenen im Rechner nach und ändern dabei Details ab. So entstehen aus einer echten Fahrt hunderte Testfälle. Auch Lagerroboter und Drohnen werden fast immer erst virtuell trainiert.

Im Alltag begegnet einem die Technik unbemerkt, etwa in Möbel-Apps, die ein Sofa maßstabsgetreu ins eigene Wohnzimmer projizieren. Der Unterschied zum echten Real-to-Sim: Dort geht es nur um das Aussehen, nicht um Physik. Erst wenn das virtuelle Sofa auch das richtige Gewicht hätte, wäre es eine Nachbildung im hier gemeinten Sinn.