Zwischenschicht

Viele KI-Systeme bestehen aus einem sogenannten neuronalen Netz. Das ist ein Rechenmodell, das Zahlen durch viele hintereinanderliegende Stufen schickt. Ganz vorne steht die Eingabe, zum Beispiel die Pixel eines Fotos. Ganz hinten steht das Ergebnis, etwa die Antwort « Katze ». Alle Stufen dazwischen heißen Zwischenschichten. Sie sind nicht von außen sichtbar, und in ihnen passiert der eigentliche Teil der Arbeit.

Warum tiefe Netze mehr können als flache

Ein Netz ganz ohne Zwischenschicht kann nur sehr einfache Zusammenhänge abbilden. Es könnte etwa entscheiden, ob ein Bild insgesamt hell oder dunkel ist. Für die Frage, ob darauf ein Gesicht zu sehen ist, reicht das nicht. Erst mehrere Stufen hintereinander erlauben es, einfache Beobachtungen zu komplizierten Begriffen zu kombinieren.

Genau daher kommt das Wort « Deep Learning », also tiefes Lernen. Tief heißt hier schlicht: viele Zwischenschichten. Frühe Netze der 1990er Jahre hatten oft nur eine oder zwei. Heutige Sprachmodelle kommen auf mehrere Dutzend bis über hundert. Diese Tiefe ist einer der Hauptgründe, warum KI-Systeme seit etwa 2012 so viel besser geworden sind.

Mehr Schichten sind aber nicht automatisch besser. Sehr tiefe Netze sind schwerer zu trainieren, weil sich Fehlerinformationen auf dem langen Weg nach vorne abschwächen. Forscher haben dafür Tricks entwickelt, etwa Abkürzungen, die Signale an mehreren Schichten vorbeileiten. Ohne solche Hilfen bleibt Tiefe eher ein Problem als ein Vorteil.

Vom Pixel zur Bedeutung: was in den Stufen entsteht

Jede Zwischenschicht besteht aus vielen kleinen Recheneinheiten, oft Neuronen genannt. Jedes Neuron bekommt die Zahlen der vorherigen Schicht, gewichtet sie und addiert sie auf. Diese Gewichte sind die eigentlichen Stellschrauben des Modells; sie werden beim Training angepasst. Danach läuft das Ergebnis noch durch eine einfache Umformung, die verhindert, dass das ganze Netz nur eine große Rechnung wird.

Bei der Bilderkennung lässt sich gut beobachten, was dabei herauskommt. Die ersten Zwischenschichten reagieren auf Kanten und Farbübergänge. Mittlere Schichten setzen daraus Formen zusammen, etwa Kreise oder Streifenmuster. Späte Schichten reagieren auf ganze Objektteile wie Augen oder Räder. Es ist wie beim Lesen: erst Buchstaben, dann Wörter, dann der Sinn des Satzes.

Wichtig ist ein häufiges Missverständnis: Niemand legt fest, welche Schicht welche Aufgabe übernimmt. Diese Arbeitsteilung entsteht von allein während des Trainings. Deshalb sind die Werte in einer Zwischenschicht für Menschen zunächst nur eine lange Zahlenreihe ohne erkennbare Bedeutung. Ein eigener Forschungszweig, die Interpretierbarkeit, versucht diese Zahlen nachträglich zu deuten.

Zwischenschichten in Produkten und Schlagzeilen

In den technischen Beschreibungen von KI-Modellen taucht die Zahl der Schichten fast immer auf. Ein Anbieter schreibt etwa, sein Modell habe 80 Schichten und 70 Milliarden Parameter. Die Parameter sind dabei genau jene Gewichte, die in den Zwischenschichten stecken. Solche Angaben geben eine grobe Vorstellung davon, wie groß und wie teuer ein Modell im Betrieb ist.

Auch praktisch begegnet man dem Begriff öfter, als man denkt. Wenn eine Firma ein fertiges Modell für die eigene Aufgabe anpasst, friert sie oft die vorderen Zwischenschichten ein und trainiert nur die hinteren neu. Das spart enorm viel Rechenzeit, weil die allgemeinen Grundmuster bereits gelernt sind. Ähnlich arbeiten Suchfunktionen, die den Zahlenzustand einer mittleren Schicht als kompakte Beschreibung eines Textes oder Bildes weiterverwenden.

Eine Abgrenzung hilft beim Lesen von News. Nicht jede Schicht in einem Softwarediagramm ist eine Zwischenschicht im hier gemeinten Sinn. In der IT spricht man auch von Schichten, wenn Programme aufeinander aufbauen, etwa Datenbank, Logik und Oberfläche. Gemeint ist in KI-Texten aber fast immer die Rechenstufe im Inneren eines neuronalen Netzes.