Gaussian Splatting
Gaussian Splatting ist ein Verfahren, das aus normalen Fotos eine räumliche Szene erzeugt, die man frei umkreisen kann. Statt aus Dreiecken besteht diese Szene aus Millionen weicher, farbiger Farbwolken, die sich sehr schnell darstellen lassen.
Gaussian Splatting ist ein Verfahren, um aus gewöhnlichen Fotos eine räumliche Darstellung eines Ortes zu bauen. Man fotografiert einen Gegenstand oder einen Raum aus vielen Blickwinkeln. Ein Programm rechnet daraus eine Szene, die man anschließend am Bildschirm frei umkreisen kann, auch aus Perspektiven, die nie fotografiert wurden. Diese Szene besteht nicht aus einer festen Oberfläche, sondern aus Millionen winziger, weicher Farbflecken, die im Raum schweben. Jeder dieser Flecken hat eine Position, eine Größe, eine Form und eine Farbe. Zusammen ergeben sie aus der Entfernung ein Bild, das kaum von einem Foto zu unterscheiden ist.
Warum Fotorealismus plötzlich in Echtzeit läuft
Bisher gab es zwei Wege zu einer 3D-Szene, und beide hatten einen Haken. Der klassische Weg sind Modelle aus Dreiecken, wie in Computerspielen. Sie laufen schnell, müssen aber meist von Hand gebaut werden und wirken bei echten Orten oft künstlich. Der zweite Weg waren sogenannte neuronale Strahlungsfelder, kurz NeRF: lernende Programme, die eine Szene rekonstruieren. Deren Ergebnisse sahen sehr echt aus, aber ein einziges Bild zu berechnen dauerte oft Sekunden bis Minuten.
Gaussian Splatting löst genau diesen Konflikt. Die Qualität liegt auf dem Niveau der besten NeRF-Verfahren. Die Darstellung läuft aber flüssig, oft mit über 60 Bildern pro Sekunde auf einer normalen Grafikkarte. Damit wird aus einer Forschungsdemo etwas, das man in einer App oder einer VR-Brille benutzen kann. Das Verfahren wurde 2023 vorgestellt und hat sich seitdem in Forschung und Industrie sehr schnell verbreitet.
Wirtschaftlich interessant ist vor allem, wie billig die Aufnahme ist. Für einen brauchbaren Splat reichen Fotos oder ein Video von einem Smartphone. Man braucht keinen Laserscanner und kein Fotostudio. Immobilienfirmen, Museen und Autohersteller können damit reale Objekte digitalisieren, ohne ein Team von 3D-Grafikern zu bezahlen.
Von Fotos zu Millionen Farbwolken
Zuerst muss der Computer wissen, wo die Kamera bei jedem Foto stand. Das berechnet er, indem er wiedererkennbare Punkte in mehreren Bildern vergleicht, etwa eine Türklinke oder eine Ecke. Aus diesen Übereinstimmungen ergeben sich die Kamerapositionen und eine grobe Punktwolke. Diese Punktwolke ist der Startpunkt: Jeder Punkt wird zu einem kleinen Farbfleck.
Diese Flecken heißen Gaußverteilungen, weil ihre Helligkeit von der Mitte nach außen weich abfällt, wie ein verwischter Farbtupfer. Genau das meint das Wort Splat, also Klecks. Jeder Klecks lässt sich strecken und drehen, sodass er auch eine flache Wand oder einen dünnen Ast nachbilden kann. Das Programm rendert die Szene nun probeweise aus einer bekannten Kameraposition und vergleicht das Ergebnis mit dem echten Foto.
Aus dem Unterschied zwischen Rechnung und Foto ergibt sich, wie die Kleckse verschoben, umgefärbt oder verformt werden müssen. Dieser Vergleich wiederholt sich zehntausende Male. Nebenbei löscht das Verfahren überflüssige Kleckse und teilt zu grobe in mehrere kleinere auf. Nach einigen Minuten bis Stunden steht die fertige Szene. Wichtig ist: Am Ende steckt keine echte Oberfläche darin, sondern nur eine sehr gute Attrappe aus Farbe.
Splats in Karten, Filmen und Brillen
Am sichtbarsten sind Gaussian Splats in Kartendiensten und bei virtuellen Besichtigungen. Statt zwischen einzelnen Panoramabildern zu springen, gleitet man stufenlos durch eine Wohnung oder eine Straße. Auch Museen nutzen das Verfahren, um Ausstellungsstücke im Netz begehbar zu machen. In VR-Brillen wirken solche Szenen räumlich überzeugender als jedes Video.
In der Film- und Werbebranche dienen Splats als digitale Kulisse. Ein Team scannt einen echten Drehort einmal ab und kann später Kamerafahrten am Rechner planen. Ähnlich arbeiten Robotik-Firmen: Sie trainieren Steuerungssoftware in fotorealistischen Nachbauten realer Lagerhallen.
In Nachrichtenmeldungen taucht der Begriff oft zusammen mit NeRF auf, gelegentlich auch als Konkurrenz dazu. Ein verbreiteter Irrtum ist, Gaussian Splatting sei künstliche Intelligenz im Sinne eines Sprachmodells. Es lernt zwar aus Daten, aber es erfindet keine Inhalte. Ein zweiter Irrtum betrifft die Weiterverwendung: Wer ein bearbeitbares Modell für einen 3D-Drucker braucht, muss den Splat erst aufwendig in eine Oberfläche aus Dreiecken umrechnen.