MLP-Schicht

Ein neuronales Netz — also ein KI-Modell, das grob an die Struktur des Gehirns angelehnt ist — besteht aus vielen Schichten, die Daten schrittweise verarbeiten. Eine MLP-Schicht (kurz für Multilayer Perceptron, zu Deutsch etwa „mehrschichtiges Netz aus Rechenknoten“) ist eine dieser Schichten. Sie nimmt eine Liste von Zahlen entgegen, rechnet damit und gibt eine neue Liste von Zahlen weiter. Das klingt abstrakt, ist aber der Kern von fast allem, was moderne KI-Modelle wie Sprachassistenten leisten. Konkret: Jede MLP-Schicht besteht aus zwei aufeinanderfolgenden Rechenschritten — einer Multiplikation und einer einfachen Filterfunktion, die negative Werte herausfiltert oder verzerrt. Diese Kombination wiederholt sich im Modell dutzende bis hunderte Male.

Warum MLP-Schichten so viel Gewicht tragen

In modernen Sprachmodellen wechseln sich zwei Schichttypen ab: Aufmerksamkeitsschichten (englisch: Attention Layers) und MLP-Schichten. Die Aufmerksamkeitsschichten entscheiden, welche Wörter oder Konzepte im Text zueinander in Beziehung stehen. Die MLP-Schichten hingegen verarbeiten diese Beziehungen weiter und speichern dabei faktisches Wissen.

Forscher haben herausgefunden, dass MLP-Schichten einen Großteil des gespeicherten Faktenwissens eines Modells enthalten — also Dinge wie „Paris ist die Hauptstadt Frankreichs“ oder „Wasser besteht aus Wasserstoff und Sauerstoff“. Ein Sprachmodell ohne MLP-Schichten wäre zwar gut darin, Satzstrukturen zu erkennen, hätte aber kaum Inhalt, den es wiedergeben könnte. Die MLP-Schichten machen zusammen meist über die Hälfte der gesamten Modellgröße aus.

Rechnen in zwei Schritten

Der Ablauf in einer MLP-Schicht ist immer gleich. Zuerst wird die eingehende Zahlenliste durch eine sogenannte Gewichtsmatrix — eine große Tabelle mit gelernten Zahlen — multipliziert. Dadurch entsteht eine neue, oft viel längere Zahlenliste. Dieser Schritt „dehnt“ die Information in einen größeren Raum aus.

Dann folgt eine Aktivierungsfunktion. Sie ist vergleichsweise simpel: Sie lässt hohe Werte unverändert durch und unterdrückt oder verändert niedrige Werte. Dieser Filter sorgt dafür, dass nicht alle Rechenknoten gleichzeitig „feuern“ — nur die relevanten bleiben aktiv. Danach wird die Zahlenliste wieder auf ihre ursprüngliche Länge zusammengedrückt, bevor sie an die nächste Schicht weitergegeben wird.

Ein häufiger Irrtum: Viele denken, die MLP-Schicht „denkt“ oder „versteht“. Sie tut beides nicht. Sie führt ausschließlich Matrizenmultiplikationen und Filterfunktionen durch — das sind einfache mathematische Operationen. Die scheinbare Intelligenz entsteht erst dadurch, dass Millionen solcher Operationen hintereinander ausgeführt werden.

MLP-Schichten in Produkten und Schlagzeilen

Jedes Mal, wenn jemand ChatGPT, Gemini oder einen ähnlichen Sprachassistenten benutzt, laufen im Hintergrund hunderte MLP-Schichten. Modelle wie GPT-4 oder LLaMA 3 haben oft über 80 solcher Schichtpaare aus Attention und MLP. Die schiere Anzahl dieser Schichten ist einer der Gründe, warum diese Modelle so viel Rechenleistung und Speicher brauchen.

In der Forschung taucht der Begriff häufig im Zusammenhang mit dem sogenannten Mixture-of-Experts-Verfahren auf. Dabei wird die MLP-Schicht aufgeteilt: Statt einer einzigen großen Schicht gibt es viele kleinere „Experten-MLP-Schichten“, von denen pro Anfrage nur wenige aktiv sind. Das spart Rechenzeit, ohne das Wissen des Modells zu verringern.

Auch beim Thema Modellgröße spielen MLP-Schichten eine zentrale Rolle. Wenn in Schlagzeilen steht, dass ein Modell 70 Milliarden „Parameter“ — also gespeicherte Zahlenwerte — hat, steckt der Großteil davon in den Gewichtsmatrizen der MLP-Schichten. Wer versteht, was eine MLP-Schicht ist, versteht damit auch, warum größere Modelle nicht einfach schneller, sondern vor allem speicherhungriger werden.