MLP-Schicht
Eine MLP-Schicht ist ein grundlegender Baustein moderner KI-Modelle, der Informationen durch mehrere Rechenschritte hintereinander verarbeitet. Sie steckt in fast jedem großen Sprachmodell und ist dafür verantwortlich, dass das Modell komplexe Zusammenhänge erkennen kann.
Ein neuronales Netz — also ein KI-Modell, das grob dem Aufbau eines Gehirns nachempfunden ist — besteht aus vielen Schichten. Eine MLP-Schicht (kurz für Multilayer Perceptron, auf Deutsch etwa „mehrschichtiges Netz aus Rechenknoten“) ist eine dieser Schichten. Sie nimmt eine Reihe von Zahlen entgegen, rechnet sie in mehreren Schritten um und gibt neue Zahlen heraus. Dieser Vorgang klingt simpel, steckt aber hinter fast jeder Entscheidung, die ein modernes KI-Modell trifft. Eine MLP-Schicht allein ist noch kein vollständiges Modell — sie ist eher wie ein einzelnes Zahnrad in einem größeren Getriebe.
Warum die MLP-Schicht unverzichtbar ist
Ohne eine Komponente wie die MLP-Schicht könnte ein neuronales Netz nur einfache, lineare Zusammenhänge lernen. Das bedeutet: Es könnte zwar erkennen, dass eine Zahl größer als eine andere ist, aber nicht, dass zwei Dinge zusammen etwas völlig Neues ergeben. Die MLP-Schicht führt eine sogenannte Nichtlinearität ein — sie kann also Zusammenhänge abbilden, die sich nicht durch eine simple Gerade beschreiben lassen.
Ein konkretes Beispiel: Ob ein Satz sarkastisch ist, lässt sich nicht allein daran erkennen, ob einzelne Wörter positiv oder negativ klingen. Man muss die Kombination der Wörter und den Kontext berücksichtigen. Genau solche komplexen Muster kann ein Modell nur dank Schichten wie der MLP-Schicht erfassen. Forscher schätzen, dass MLP-Schichten in großen Sprachmodellen einen erheblichen Teil des sogenannten „Weltwissens“ des Modells speichern — also die Fakten und Regeln, die das Modell aus seinen Trainingsdaten gelernt hat.
Aufbau und Rechenweg einer MLP-Schicht
Eine MLP-Schicht besteht aus mindestens zwei Rechenschritten. Zuerst werden die eingehenden Zahlen mit einer großen Tabelle von Gewichten — also gelernten Zahlenwerten — multipliziert und addiert. Das Ergebnis ist eine neue, deutlich längere Liste von Zahlen, oft mit tausenden Einträgen. Dieser Zwischenzustand ist bewusst groß gewählt, damit das Modell viel Spielraum hat, verschiedene Muster zu repräsentieren.
Dann folgt eine Aktivierungsfunktion. Das ist eine einfache mathematische Regel, die kleine oder negative Werte herausfiltert oder verändert — ähnlich wie ein Sieb, das bestimmte Signale durchlässt und andere dämpft. Erst danach werden die Zahlen durch eine zweite Gewichtstabelle wieder auf die ursprüngliche Größe reduziert. Der gesamte Prozess läuft vorwärts — also immer von der Eingabe zur Ausgabe, ohne Schleifen. Daher spricht man auch von einer Feed-Forward-Schicht.
In modernen Transformer-Modellen — dem Architekturtyp, auf dem ChatGPT, Gemini und ähnliche Systeme beruhen — wechseln sich MLP-Schichten mit sogenannten Attention-Schichten ab, die sich um den Kontext zwischen Wörtern kümmern. Die MLP-Schicht hingegen verarbeitet jede Position im Text unabhängig von den anderen. Die beiden Schichttypen ergänzen sich dabei gegenseitig.
MLP-Schichten in Produkten und Debatten
Wer heute ChatGPT, Claude oder einen KI-Assistenten auf dem Smartphone nutzt, interagiert indirekt mit Hunderten von MLP-Schichten. Jede Anfrage durchläuft das Modell schichtweise — und bei jedem dieser Schritte sind MLP-Schichten beteiligt. In großen Modellen wie GPT-4 gibt es schätzungsweise über einhundert solcher Schichten hintereinander.
In der Forschung stehen MLP-Schichten im Mittelpunkt einer wichtigen Frage: Was genau hat das Modell eigentlich gelernt? Wissenschaftler haben gezeigt, dass einzelne Neuronen in MLP-Schichten manchmal auf sehr spezifische Konzepte reagieren — etwa auf bestimmte Städte, Berufe oder grammatikalische Strukturen. Das macht MLP-Schichten zu einem zentralen Untersuchungsgegenstand in der KI-Interpretierbarkeitsforschung, also dem Versuch, zu verstehen, wie KI-Modelle „denken“.
Außerdem taucht die MLP-Schicht in Effizienzdebatten auf. Bei Modellen nach dem Mixture-of-Experts-Prinzip wird die MLP-Schicht aufgeteilt: Statt einer gemeinsamen Schicht für alle Eingaben gibt es viele spezialisierte „Experten-MLP-Schichten“, von denen jeweils nur ein kleiner Teil aktiv ist. Das spart Rechenzeit, ohne die Modellqualität zu verringern.