Real2Sim
Real2Sim bezeichnet Verfahren, mit denen reale Objekte, Räume oder Szenen automatisch in eine digitale Simulationsumgebung übertragen werden. Robotik- und KI-Systeme können so in einer virtuellen Kopie der Wirklichkeit trainiert werden, ohne dass man für jedes Szenario echte Hardware aufbauen muss.
Um eine künstliche Intelligenz zu trainieren, braucht man viele Beispiele. Bei einem Roboter heißt das: viele Situationen, in denen er etwas tut und Rückmeldung bekommt. Diese Situationen in der echten Welt zu erzeugen, ist teuer und langsam — Roboter brechen Dinge, Versuche scheitern, alles dauert. Real2Sim löst dieses Problem, indem man die Wirklichkeit zunächst digital nachbaut. Aus echten Fotos, Videos oder 3D-Scans entsteht dabei eine Simulationsumgebung, in der Roboter oder andere Systeme so trainieren können, als wären sie live vor Ort. Das „Real“ im Namen steht für die reale Vorlage, „Sim“ für die Simulation, die daraus gebaut wird.
Warum Simulation billiger ist als Wirklichkeit
In einer Simulation kann ein Roboter tausende Versuche in einer Stunde machen — in der echten Welt wären das Wochen. Wenn etwas schiefläuft, kostet es keine Energie, keine Ersatzteile und keine Ausfallzeit. Man kann einfach neu starten.
Der entscheidende Vorteil von Real2Sim gegenüber einer frei erfundenen Simulationsumgebung ist die Nähe zur Realität. Eine Simulation, die aus echten Messdaten gebaut wurde, hat dieselben Abstände, dieselben Oberflächenstrukturen und dasselbe Licht wie der Ort, an dem der Roboter später arbeiten soll. Das verringert den sogenannten Sim-to-Real-Gap — die Lücke zwischen dem, was ein Modell in der Simulation gelernt hat, und dem, was es in der echten Welt kann. Je kleiner diese Lücke, desto besser funktioniert das trainierte System auch draußen.
Das ist besonders relevant, wenn man eine KI in einem sehr spezifischen Umfeld einsetzen will: einer bestimmten Fabrikhalle, einem einzelnen Lagerraum oder einer konkreten Küche. Statt eine generische Simulation zu verwenden, scannt man einfach den echten Raum und bekommt eine maßgenaue digitale Kopie.
Wie aus einem Raum eine digitale Kopie wird
Der Ausgangspunkt ist meist ein Scan. Tiefenkameras — also Kameras, die nicht nur Farbe, sondern auch den Abstand jedes Punktes messen — oder herkömmliche Videos reichen oft aus. Eine Software rekonstruiert daraus eine dreidimensionale Karte der Szene. Moderne Verfahren wie NeRF (Neural Radiance Fields, ein KI-Verfahren, das aus Fotos eine 3D-Szene berechnet) oder 3D Gaussian Splatting schaffen es dabei, auch Lichteffekte und Materialoberflächen zu erhalten, nicht nur die grobe Geometrie.
Im nächsten Schritt wird diese Rekonstruktion in eine Physik-Engine überführt — eine Software, die berechnet, wie Objekte fallen, rollen oder kippen. Erst dann kann ein Roboter darin agieren und Rückmeldungen bekommen. Er greift nach einem virtuellen Glas, das genauso schwer und glatt ist wie das echte Original, und lernt dabei, es nicht fallen zu lassen.
Ein typischer Irrtum ist, Real2Sim mit einer einfachen 3D-Modellierung zu verwechseln. Der Unterschied ist Automatisierung: Bei Real2Sim entsteht die Szene aus Messdaten, nicht durch das händische Eintippen von Maßen in ein Konstruktionsprogramm. Das macht es möglich, in kurzer Zeit viele verschiedene Umgebungen zu digitalisieren.
Real2Sim in Robotik, Forschung und Industrie
Am häufigsten begegnet man dem Begriff in der Robotikforschung. Unternehmen wie Google DeepMind, Boston Dynamics oder das NVIDIA-Forschungslabor nutzen Real2Sim-Pipelines, um Roboter für das Greifen, Laufen oder Navigieren zu trainieren. NVIDIA hat mit seiner Plattform Isaac Sim eine komplette Umgebung gebaut, die genau auf diesen Einsatz ausgelegt ist.
Auch in der Automobilindustrie taucht das Prinzip auf: Fahrzeuge werden in digitalen Kopien realer Straßenabschnitte erprobt, bevor sie physisch dort fahren. In der Logistik scannt man Lagerhallen, um autonome Transportfahrzeuge schon vor dem ersten echten Einsatz auf die genaue Umgebung zu trainieren.
In Tech-News begegnet man Real2Sim oft im Zusammenhang mit dem umgekehrten Schritt, dem sogenannten Sim2Real-Transfer: dem Moment, in dem das in der Simulation trainierte System in die echte Welt entlassen wird. Real2Sim und Sim2Real bilden zusammen den Kreislauf, der modernes Robotik-Training heute antreibt.