Neural ISP
Ein Neural ISP ist die Bildaufbereitung einer Digitalkamera, die statt fest programmierter Rechenschritte ein trainiertes KI-Modell benutzt. Das Modell verwandelt die rohen Sensordaten in ein fertiges Foto und lernt dabei aus Beispielbildern, wie ein gutes Ergebnis aussieht.
Der Bildsensor einer Handykamera liefert kein fertiges Foto. Er liefert eine Tabelle aus Helligkeitswerten, dunkel, flau und voller Bildrauschen, also zufälliger Störpunkte. Damit daraus ein ansehnliches Bild wird, muss es aufbereitet werden: Farben zusammensetzen, Rauschen entfernen, Helligkeit anpassen, Kanten schärfen. Diese Aufbereitung erledigt bisher ein spezieller Chip mit fest einprogrammierten Rechenschritten, der Image Signal Processor oder kurz ISP. Ein Neural ISP ersetzt diese festen Schritte ganz oder teilweise durch ein KI-Modell, das die Umwandlung an Millionen von Beispielbildern gelernt hat. Es bekommt die rohen Sensordaten und gibt direkt das fertige Foto aus.
Warum Handyfotos ohne Rechnerei schlecht aussehen
Eine Handykamera hat physikalisch schlechte Karten. Ihre Linse ist winzig, der Sensor ist kleiner als ein Fingernagel. Damit fällt sehr wenig Licht auf jeden einzelnen Bildpunkt. Bei Tageslicht fällt das kaum auf, abends dagegen sofort: das Bild wird körnig und die Farben kippen.
Den Rückstand kann man nicht mehr über die Optik aufholen, dafür ist im Gehäuse kein Platz. Also holt man ihn über Rechenleistung auf. Genau hier entscheidet sich, ob ein Foto brauchbar aussieht oder nicht. Hersteller werben deshalb längst mehr mit ihrer Bildverarbeitung als mit der Linse.
Der klassische ISP arbeitet diese Aufgabe in einer festen Kette ab, Schritt für Schritt. Jeder Schritt hat Einstellregler, die Ingenieure von Hand justieren. Das funktioniert, stößt aber an Grenzen: Ein Schritt kann kaputtmachen, was ein anderer gerade verbessert hat. Wird das Rauschen stark entfernt, verschwinden auch feine Details wie Haare oder Grashalme. Ein gelerntes Modell kann diese Abwägung besser treffen, weil es das Endergebnis im Blick hat und nicht nur den einzelnen Zwischenschritt.
Vom Rohbild zum fertigen Foto
Trainiert wird ein Neural ISP mit Bildpaaren. Zu jedem rohen Sensorbild gibt es ein Zielbild, das zeigt, wie das Ergebnis aussehen soll. Solche Zielbilder stammen oft von einer teuren Spiegelreflexkamera auf einem Stativ, die dieselbe Szene aufnimmt. Manchmal werden sie auch von Fachleuten am Rechner aufwendig nachbearbeitet. Das Modell vergleicht seine Ausgabe mit dem Zielbild und korrigiert sich schrittweise, bis der Unterschied klein genug ist.
Das Ergebnis ist kein Regelwerk, das ein Mensch nachlesen könnte. Es ist ein Netz aus Millionen von Zahlenwerten, den sogenannten Parametern. Man kann es sich wie einen Fotografen vorstellen, der nie eine Theoriestunde hatte, aber zehntausend Bilder entwickelt hat. Er kann nicht erklären, warum er den Regler so setzt. Er trifft es trotzdem zuverlässig.
Im Betrieb muss das alles extrem schnell gehen. Bei einem Video mit 30 Bildern pro Sekunde bleiben pro Bild rund 33 Millisekunden. Deshalb laufen Neural ISPs auf besonderen Recheneinheiten im Handychip, die auf solche Netze zugeschnitten sind. In der Praxis arbeiten viele Geräte gemischt: Einfache Schritte übernimmt weiter der klassische ISP, die schwierigen Teile wie Rauschunterdrückung oder Nachtaufnahmen übernimmt das Modell.
Wo die Technik schon in deiner Hosentasche steckt
Jedes moderne Smartphone nutzt Teile davon, auch wenn der Begriff selten auf der Verpackung steht. Bekannte Beispiele sind der Nachtmodus, der aus mehreren dunklen Aufnahmen ein helles Bild rechnet, oder der Porträtmodus mit weichem Hintergrund. Auch Google spricht bei seinen Pixel-Handys offen davon, dass die Kamera vor allem Software ist. In Testberichten und Techniknews taucht Neural ISP meist dann auf, wenn ein neuer Handychip vorgestellt wird.
Über das Handy hinaus findet man die Technik in Autos, wo Kameras bei Regen und Dunkelheit brauchbare Bilder liefern müssen, sowie in Überwachungskameras und Drohnen. Ein verwandter, breiterer Begriff ist Computational Photography. Der meint jede Fotografie, bei der Rechnen wichtiger ist als Optik. Ein Neural ISP ist ein Baustein davon.
Ein häufiger Irrtum: Die KI erfinde die Details einfach dazu. Meistens stimmt das nicht, das Modell rekonstruiert aus vorhandenen Messwerten. Die Grenze ist aber fließend, und genau darüber wird gestritten. Als ein Hersteller Mondfotos auffällig detailreich darstellte, warfen Kritiker ihm vor, das Bild werde ergänzt statt aufbereitet.