Demosaicing
Demosaicing ist der Rechenschritt, der aus den Rohdaten eines Kamerasensors ein vollfarbiges Bild macht. Nötig ist er, weil jeder einzelne Bildpunkt des Sensors nur eine Farbe messen kann und die beiden fehlenden aus der Nachbarschaft geschätzt werden müssen.
Der Bildsensor einer Kamera besteht aus Millionen winziger Lichtmesser. Jeder dieser Messpunkte kann nur Helligkeit erfassen, keine Farbe. Damit trotzdem Farbbilder entstehen, liegt über dem Sensor ein Gitter aus kleinen Farbfiltern. Ein Messpunkt sieht dadurch nur Rot, der nächste nur Grün, der dritte nur Blau. Demosaicing ist die Rechnung, die aus diesem Flickenteppich ein Bild macht, in dem jeder Bildpunkt alle drei Farbwerte hat. Die beiden fehlenden Werte werden dabei nicht gemessen, sondern aus den Nachbarpunkten geschätzt.
Warum ohne diesen Schritt kein Foto entsteht
Ohne Demosaicing hätte ein Foto nur ein Drittel der nötigen Farbinformation. Das Bild würde aus feinen roten, grünen und blauen Punkten bestehen und aus der Nähe wie ein Mosaik wirken. Genau daher kommt der Name: das Mosaik wird wieder entfernt. Jede Digitalkamera und jedes Handy führt diesen Schritt bei jedem Foto aus, meist ohne dass es jemand merkt.
Weil geschätzt wird, entscheidet die Qualität des Verfahrens direkt über die Bildqualität. Schlechtes Demosaicing erzeugt typische Fehler. An scharfen Kanten erscheinen bunte Säume, etwa ein violetter Rand an einem dunklen Ast vor hellem Himmel. Bei feinen Mustern wie einem Karohemd entstehen flimmernde Farbstreifen, die es in der Wirklichkeit nicht gibt. Dieses Artefakt nennt man Moiré.
Hier liegt auch der Grund, warum Fotografen mit Rohdaten arbeiten. Eine RAW-Datei enthält die Messwerte des Sensors, bevor demosaikiert wurde. Wer sie später am Computer verarbeitet, kann ein besseres Verfahren wählen als das in der Kamera eingebaute. Ein fertiges JPEG dagegen ist schon durchgerechnet, und dieser Schritt lässt sich nicht rückgängig machen.
Vom Farbgitter zum vollständigen Bildpunkt
Das verbreitetste Filtergitter heißt Bayer-Muster, benannt nach seinem Erfinder bei Kodak. In ihm ist die Hälfte aller Messpunkte grün, je ein Viertel rot und blau. Diese Bevorzugung von Grün ist Absicht. Das menschliche Auge sieht in diesem Bereich des Farbspektrums am genauesten, also steckt man dort die meiste Information hin.
Das einfachste Verfahren ist reines Mitteln. Fehlt einem Punkt der Rotwert, nimmt man den Durchschnitt der roten Nachbarn. Das ist schnell, verwischt aber Kanten und erzeugt viele Farbfehler. Bessere Algorithmen prüfen deshalb zuerst, in welche Richtung eine Kante verläuft. Sie mitteln dann entlang der Kante und nicht quer darüber, weil quer über eine Kante zwei verschiedene Bildinhalte vermischt würden.
Seit einigen Jahren übernehmen neuronale Netze diese Aufgabe, also lernende Programme, die an Millionen Beispielbildern trainiert wurden. Sie haben gelernt, wie echte Kanten, Haare oder Stoffmuster typischerweise aussehen, und ergänzen die Farben entsprechend plausibel. Oft erledigen sie Demosaicing, Rauschunterdrückung und Schärfung in einem einzigen Rechenschritt. Das liefert bessere Ergebnisse, bringt aber eine Unschärfe mit sich: Das Netz erfindet Details, die zwar überzeugend wirken, aber nicht gemessen wurden.
Demosaicing in Handykameras und Produktwerbung
Jedes Smartphone-Foto durchläuft Demosaicing, als einer der ersten Schritte der sogenannten Computational Photography. Darunter versteht man Fotografie, bei der die Software mindestens so wichtig ist wie die Linse. Wenn Hersteller mit ihrem Bildprozessor oder einer KI-Bild-Engine werben, ist dieser Rechenschritt immer Teil davon.
Auch die Megapixel-Angaben in der Werbung hängen damit zusammen. Ein Sensor mit 48 Megapixeln liefert oft Bilder mit 12 Megapixeln, weil jeweils vier gleichfarbige Nachbarpunkte zusammengefasst werden. Dieses Pixel-Binning verringert das Bildrauschen und verändert gleichzeitig die Aufgabe für das Demosaicing. Manche Sensoren nutzen außerdem andere Farbgitter als das Bayer-Muster und brauchen dafür eigene Verfahren.
Über Fotografie hinaus taucht der Begriff in der Industrie und Forschung auf. Autokameras, medizinische Endoskope und Satelliten arbeiten mit denselben gefilterten Sensoren. Wo aus Bildern automatisch Messwerte gewonnen werden, ist wichtig, welche Farben gemessen und welche nur geschätzt wurden.