Faltungsschicht
Eine Faltungsschicht ist ein Bauteil in Bilderkennungsprogrammen, das ein Bild mit einem kleinen Suchraster Stück für Stück abtastet und dabei Muster wie Kanten oder Ecken findet. Mehrere solcher Schichten hintereinander bauen aus einfachen Mustern nach und nach komplexe Formen zusammen.
Programme, die Bilder erkennen, bestehen aus mehreren Verarbeitungsstufen. Eine Faltungsschicht ist eine dieser Stufen. Sie legt ein kleines Raster über das Bild, zum Beispiel drei mal drei Bildpunkte groß. Dieses Raster wandert wie eine Lupe über das gesamte Bild, Position für Position. An jeder Stelle prüft es, ob dort ein bestimmtes Muster zu sehen ist, etwa eine senkrechte Hell-Dunkel-Kante. Das Ergebnis ist eine neue Karte, die zeigt, wo im Bild dieses Muster vorkommt.
Warum Bilderkennung ohne Faltung nicht funktioniert hätte
Ein Foto mit 200 mal 200 Bildpunkten hat 40.000 Werte. Würde man jeden dieser Werte einzeln mit jedem Baustein der nächsten Stufe verbinden, entstünden Milliarden von einstellbaren Zahlen. So ein Programm wäre kaum zu trainieren und würde riesige Datenmengen brauchen. Die Faltungsschicht löst das Problem elegant: Sie benutzt dasselbe kleine Raster für das ganze Bild. Statt Milliarden Zahlen muss sie nur ein paar Dutzend lernen.
Der zweite Vorteil ist noch wichtiger. Eine Katze bleibt eine Katze, egal ob sie links oben oder rechts unten im Bild sitzt. Weil das Raster überall gleich sucht, erkennt die Schicht dasselbe Muster an jeder Position. Diese Eigenschaft nennt man Verschiebungsunempfindlichkeit. Ohne sie müsste ein Programm jede Form an jeder möglichen Stelle einzeln lernen.
Ein häufiger Irrtum: Die Muster werden nicht von Menschen festgelegt. Niemand programmiert ein, wie eine Kante aussieht. Die Zahlen im Raster ergeben sich beim Training aus tausenden Beispielbildern. Der Mensch legt nur fest, wie groß das Raster ist und wie viele davon es gibt.
Vom Raster zur Merkmalskarte
Das wandernde Raster heißt Filter oder Kernel. Es enthält kleine Zahlen, die Gewichte. An jeder Position multipliziert die Schicht die Bildpunkte mit den passenden Gewichten und addiert alles zu einer einzigen Zahl. Ist das Muster dort deutlich zu sehen, wird diese Zahl groß. Passt nichts, bleibt sie klein oder negativ. Die Gesamtheit dieser Zahlen ergibt eine Merkmalskarte, also eine Art Landkarte des gesuchten Musters.
Eine Schicht arbeitet nie mit nur einem Filter. Typisch sind 32 oder 64 verschiedene Filter parallel, jeder mit eigenen Gewichten. Einer reagiert auf waagerechte Kanten, einer auf senkrechte, einer auf einen bestimmten Farbübergang. Am Ende liefert die Schicht also ein ganzes Bündel von Merkmalskarten an die nächste Stufe weiter.
Entscheidend ist die Stapelung. Die zweite Faltungsschicht sieht nicht mehr das Originalbild, sondern die Karten der ersten. Aus mehreren Kanten setzt sie Ecken und Kurven zusammen. Die dritte macht daraus Augen und Räder, die zehnte ganze Gesichter oder Fahrzeuge. Zwischen den Schichten sitzen meist Pooling-Stufen, die das Bild verkleinern, indem sie aus je vier Werten nur den größten behalten. So wächst der Bildausschnitt, den ein einzelner Baustein überblickt, mit jeder Ebene.
Faltung in Kameras, Medizin und Sprachmodellen
Faltungsschichten stecken in fast jeder Kamera-App. Wenn dein Handy einen Gesichtsausschnitt markiert oder Fotos automatisch nach Hunden und Stränden sortiert, arbeitet dahinter ein solches Netz. Auch die Fahrerassistenz im Auto nutzt Faltung, um Verkehrsschilder und Fußgänger zu erkennen. In Kliniken durchsuchen entsprechende Programme Röntgen- und CT-Aufnahmen nach auffälligen Stellen.
In Wirtschaftsnachrichten taucht der Begriff meist als CNN auf, kurz für Convolutional Neural Network, also faltendes neuronales Netz. Der Durchbruch kam 2012, als ein solches Netz einen großen Bilderkennungswettbewerb mit deutlichem Abstand gewann. Danach begann der Boom bei Grafikkarten-Herstellern, denn Faltungen lassen sich auf Grafikchips extrem schnell rechnen.
Wichtig ist die Abgrenzung zum Transformer, der Architektur hinter ChatGPT und ähnlichen Textprogrammen. Der Transformer verzichtet auf das wandernde Raster und vergleicht stattdessen alle Teile einer Eingabe direkt miteinander. Seit einigen Jahren verdrängt er die Faltung auch bei Bildern teilweise. Trotzdem bleiben Faltungsschichten dort führend, wo wenig Rechenleistung zur Verfügung steht, etwa direkt auf dem Smartphone oder in kleinen Kameras.