Eventbasierte Sensoren
Eventbasierte Sensoren sind Kameras, die keine vollständigen Bilder aufnehmen, sondern nur melden, wo sich die Helligkeit gerade verändert hat. Dadurch reagieren sie extrem schnell, brauchen wenig Strom und liefern statt Bildern einen Strom einzelner Messpunkte.
Eine gewöhnliche Kamera arbeitet wie ein Daumenkino. Sie nimmt viele vollständige Bilder pro Sekunde auf, typischerweise 30 oder 60. Jedes dieser Bilder enthält alle Bildpunkte, auch die, an denen sich seit dem letzten Mal nichts verändert hat. Ein eventbasierter Sensor macht es umgekehrt: Jeder seiner Bildpunkte beobachtet die Helligkeit für sich allein. Nur wenn sie sich deutlich ändert, meldet dieser Punkt sich mit einer kurzen Nachricht. Das Ergebnis ist kein Film, sondern ein ständiger Strom aus Meldungen der Art: an dieser Stelle, zu diesem Zeitpunkt, wurde es heller.
Was Kameras bisher nicht konnten
Der größte Vorteil ist die Geschwindigkeit. Ein Bildpunkt eines eventbasierten Sensors reagiert innerhalb von wenigen Millionstel Sekunden. Eine normale Kamera muss dagegen warten, bis das nächste Bild an der Reihe ist. Ein Ball, der mit 100 Stundenkilometern fliegt, hinterlässt auf einem normalen Foto einen verwischten Streifen. Der eventbasierte Sensor zeichnet seine Bewegung dagegen sauber Punkt für Punkt nach.
Der zweite Vorteil ist die Datenmenge. In vielen Szenen bewegt sich nur ein kleiner Teil des Bildes. Eine Überwachungskamera in einem leeren Flur liefert trotzdem Stunde für Stunde volle Bilder. Ein eventbasierter Sensor schweigt in dieser Zeit fast völlig. Weniger Daten bedeuten weniger Speicher, weniger Rechenaufwand und deutlich weniger Strom. Manche dieser Sensoren laufen mit einem Bruchteil der Leistung, die eine normale Kamera braucht.
Dazu kommt der große Helligkeitsumfang. Weil jeder Bildpunkt seine eigene Belichtung regelt, kommt der Sensor mit starken Kontrasten zurecht. Eine Fahrt aus einem dunklen Tunnel ins grelle Sonnenlicht überfordert normale Kameras oft für einen Moment. Genau in diesem Moment kann ein Fahrassistent aber ein Hindernis übersehen.
Der Aufbau nach dem Vorbild der Netzhaut
Das Vorbild ist das menschliche Auge. Auch unsere Netzhaut schickt keine kompletten Bilder ans Gehirn, sondern meldet vor allem Veränderungen. Deshalb heißen solche Sensoren manchmal auch Silicon Retina, also Netzhaut aus Silizium. Jeder Bildpunkt hat eine kleine eigene Schaltung, die die aktuelle Helligkeit mit dem zuletzt gemeldeten Wert vergleicht.
Überschreitet der Unterschied eine festgelegte Schwelle, löst der Punkt ein sogenanntes Event aus. Dieses Event besteht nur aus vier Angaben: der Position in der Spalte, der Position in der Zeile, dem Zeitstempel und der Richtung der Änderung. Heller oder dunkler, mehr Information ist nicht enthalten. Die Bildpunkte arbeiten dabei unabhängig voneinander und ohne gemeinsamen Takt.
Genau das macht die Auswertung anspruchsvoll. Übliche Bilderkennungsprogramme erwarten rechteckige Bilder als Eingabe und können mit einem unregelmäßigen Strom von Punkten nichts anfangen. Man muss die Events entweder über kurze Zeitfenster zu künstlichen Bildern zusammenrechnen oder speziell angepasste Modelle einsetzen. Ein verbreiteter Irrtum ist außerdem, ein eventbasierter Sensor sei einfach eine schnellere Kamera. Er liefert bei einer völlig starren Szene fast gar keine Daten, weil sich nichts ändert.
Von der Fabrikhalle ins Smartphone
Am weitesten ist die Technik in der Industrie. In Fabriken prüfen solche Sensoren Bauteile, die sehr schnell an einer Kamera vorbeilaufen, oder überwachen Maschinen auf feine Vibrationen. Auch in der Forschung an Robotern und Drohnen sind sie beliebt, weil ein Fluggerät sehr schnell auf Hindernisse reagieren muss und dabei wenig Strom übrig hat.
In Nachrichten tauchen eventbasierte Sensoren oft im Zusammenhang mit neuromorpher Technik auf. Damit ist Hardware gemeint, die sich am Aufbau des Gehirns orientiert. Hersteller wie Sony, Samsung und das Start-up Prophesee arbeiten an solchen Chips. Bei Smartphones werden sie als Zusatz diskutiert, der Wackler ausgleicht oder das Autofokussieren beschleunigt.
Ein weiteres Feld ist der Datenschutz. Weil der Sensor keine scharfen Gesichter liefert, sondern nur Umrisse von Bewegungen, lassen sich damit Räume überwachen, ohne Personen klar erkennbar zu machen. Ob das rechtlich ausreicht, ist allerdings umstritten. Insgesamt bleibt die Technik vorerst eine Ergänzung zur normalen Kamera und kein Ersatz.