3D Gaussian Splatting

3D Gaussian Splatting ist ein Verfahren, um aus normalen Fotos eine begehbare 3D-Szene zu erzeugen. Man fotografiert einen Raum oder ein Objekt aus vielen Blickwinkeln, oft mit dem Handy. Ein Programm rechnet daraus eine Darstellung, die man am Bildschirm frei umkreisen kann. Diese Darstellung besteht nicht aus festen Oberflächen, sondern aus Millionen winziger, durchsichtiger Farbflecken im Raum. Jeder Fleck hat eine Position, eine Größe, eine Farbe und eine Durchsichtigkeit. Aus der Entfernung verschmelzen diese Flecken zu einem Bild, das kaum von einem Foto zu unterscheiden ist.

Warum Fotorealismus plötzlich in Echtzeit läuft

Fotorealistische 3D-Szenen gab es schon vorher. Das bekannteste Verfahren davor hieß NeRF, kurz für Neural Radiance Field. Dabei lernt ein neuronales Netz, für jeden Punkt im Raum eine Farbe vorherzusagen. Das sieht großartig aus, ist aber langsam. Für ein einziges Bild muss das Netz millionenfach befragt werden.

Gaussian Splatting liefert eine ähnliche Bildqualität, läuft aber deutlich schneller. Auf einer normalen Gaming-Grafikkarte sind flüssige 60 bis 100 Bilder pro Sekunde möglich. Genau diese Geschwindigkeit macht das Verfahren interessant für Spiele, für Virtual Reality und für Anwendungen im Browser. Ruckelnde 3D-Ansichten werden schnell unangenehm, in VR sogar körperlich unangenehm.

Dazu kommt ein praktischer Punkt. Klassische 3D-Modelle für Filme oder Spiele werden von Menschen gebaut, das dauert Tage oder Wochen. Beim Splatting reicht ein Rundgang mit der Kamera und etwas Rechenzeit. Das senkt die Kosten so stark, dass 3D-Aufnahmen für kleine Firmen und Einzelpersonen erreichbar werden.

Von Fotos zu Millionen Farbwölkchen

Der Ausgangspunkt sind mehrere Dutzend bis mehrere hundert Fotos. Zuerst bestimmt eine Software, von welcher Position und in welche Richtung jedes Foto aufgenommen wurde. Dabei entsteht auch eine grobe Punktwolke der Szene. Jeder dieser Punkte wird dann zum Startpunkt für ein Farbwölkchen. Der Fachbegriff dafür ist Gaußfunktion: eine glockenförmige Verteilung, die in der Mitte kräftig ist und zum Rand hin sanft ausblendet.

Danach beginnt ein Optimierungsprozess. Das Programm rendert die Szene aus dem Blickwinkel eines der Originalfotos und vergleicht das Ergebnis mit dem echten Foto. Wo es abweicht, verschiebt, färbt, dehnt oder dreht es die Wölkchen ein wenig. Dieser Vergleich läuft zehntausende Male durch. Zusätzlich darf das System Wölkchen teilen, wenn ein Bereich zu unscharf ist, und löschen, wenn sie fast unsichtbar sind.

Ein häufiger Irrtum: Beim Splatting steckt kein trainiertes neuronales Netz im fertigen Ergebnis. Optimiert werden direkt die Zahlenwerte der einzelnen Wölkchen. Das Ergebnis ist also eher eine sehr große Datei mit Punktdaten als ein KI-Modell. Für die Darstellung werden die Wölkchen nach Entfernung sortiert und von hinten nach vorn übereinandergelegt.

Immobilien, Museen und Karten-Apps

Am sichtbarsten ist die Technik bisher bei Besichtigungen aus der Ferne. Maklerfirmen zeigen Wohnungen als frei drehbare 3D-Szene statt als Bilderstrecke. Museen digitalisieren Ausstellungsstücke, damit sie online betrachtet werden können. Auch Google nutzt verwandte Verfahren, um in Maps realistische Ansichten von Städten und Sehenswürdigkeiten zu erzeugen.

In der Industrie dient das Verfahren zur Dokumentation. Eine Baustelle oder eine Fabrikhalle wird abgefilmt und lässt sich später aus jedem Winkel prüfen. Filmstudios setzen Splatting für Hintergründe ein, weil ein realer Ort schneller eingescannt als nachgebaut ist. Im Robotik-Bereich wird geforscht, ob solche Szenen Maschinen beim Verstehen ihrer Umgebung helfen.

Grenzen gibt es aber. Spiegel, Glas und Wasser sehen oft falsch aus, weil ihr Aussehen sich mit dem Blickwinkel stark ändert. Bewegte Objekte hinterlassen Schlieren. Und eine einzelne Szene kann leicht mehrere hundert Megabyte groß sein. In Nachrichten taucht der Begriff deshalb meist dann auf, wenn eine Firma diese Dateien deutlich verkleinert oder erstmals flüssig auf dem Handy darstellt.