Polysemantizität

In einem KI-Sprachmodell gibt es Millionen kleiner Recheneinheiten, sogenannte Neuronen. Man könnte erwarten, dass jedes Neuron genau eine Aufgabe übernimmt — zum Beispiel immer dann aktiv wird, wenn das Modell das Wort „Hund“ verarbeitet. In der Praxis ist das meist nicht so. Ein einziges Neuron springt oft auf völlig unterschiedliche Konzepte an: auf „Hund“, auf „Laufen“ und auf „Herbst“ — ohne erkennbaren Zusammenhang. Dieses Verhalten nennt man Polysemantizität. Der Begriff kommt aus der Linguistik, wo er beschreibt, dass ein Wort mehrere Bedeutungen haben kann — hier wurde er auf Modell-Einheiten übertragen.

Warum Polysemantizität KI-Forschung erschwert

Wer verstehen will, wie ein KI-Modell Entscheidungen trifft, schaut sich an, welche Neuronen bei einer bestimmten Eingabe aktiv sind. Das funktioniert aber nur, wenn jedes Neuron eine klare Rolle hat. Ist ein Neuron polysemantisch — also für mehrere Konzepte gleichzeitig zuständig — lässt sich kaum sagen, warum es gerade aktiv ist.

Das ist besonders für die KI-Sicherheitsforschung ein Problem. Dort will man nachvollziehen, ob ein Modell gefährliche oder unerwünschte Konzepte verarbeitet. Polysemantizität macht diese Kontrolle deutlich schwieriger. Man sieht, dass etwas passiert — aber nicht was.

Ein verbreiteter Irrtum ist anzunehmen, Polysemantizität sei ein Fehler, den man beim Training hätte vermeiden können. Tatsächlich gilt sie als nahezu unvermeidliche Folge davon, dass Modelle sehr viele Konzepte in einer begrenzten Anzahl von Neuronen unterbringen müssen. Die Neuronen teilen sich sozusagen den verfügbaren Platz.

Superposition: der Grund fürs Überlappen

Forscher erklären Polysemantizität meist mit dem Prinzip der Superposition. Ein Modell hat wesentlich mehr Konzepte zu repräsentieren, als es Neuronen hat. Die Lösung: Mehrere Konzepte werden überlagert in denselben Neuronen gespeichert — ähnlich wie man viele Stimmen gleichzeitig auf einer einzigen Tonspur aufnehmen kann. Das spart Platz, macht das Signal aber schwer zu entschlüsseln.

Die Konsequenz ist, dass Polysemantizität kein Zufall ist. Modelle lernen aktiv, Konzepte zu stapeln, weil es die einzige Möglichkeit ist, mit den vorhandenen Ressourcen auszukommen. Kleinere Modelle tun das stärker als große, weil ihr Platzmangel gravierender ist. Größere Modelle sind deshalb tendenziell leichter zu analysieren — aber auch sie sind nicht frei davon.

Ein neuerer Forschungsansatz namens Sparse Autoencoders — also dünn besetzte Zerlegungsverfahren — versucht, polysemantische Neuronen aufzudröseln. Die Idee: Man trainiert ein zweites, kleines Netz darauf, die Aktivierungen des eigentlichen Modells so umzuschreiben, dass jede Einheit wieder nur für ein Konzept steht. Die Ergebnisse sind vielversprechend, aber die Methode steckt noch in der Forschungsphase.

Polysemantizität in der aktuellen KI-Debatte

Das Thema ist vor allem in einem Forschungsfeld präsent, das sich Mechanistic Interpretability nennt — zu Deutsch etwa: mechanistische Interpretierbarkeit. Ziel ist es, KI-Modelle von innen zu verstehen, statt sie nur von außen zu testen. Polysemantizität ist dabei eines der Kernprobleme, das gelöst werden muss, bevor man weiterkommen kann.

Das KI-Unternehmen Anthropic hat 2023 eine vielbeachtete Studie veröffentlicht, in der es Millionen von Neuronen seines Modells Claude untersuchte und dabei tatsächlich monosemantische — also eindeutig zugeordnete — Einheiten isolieren konnte. Das wurde als Durchbruch gewertet, weil es zeigte, dass Polysemantizität zumindest teilweise aufgelöst werden kann.

In Nachrichtenartikeln taucht der Begriff immer dann auf, wenn es um KI-Transparenz oder die Frage geht, ob man Modellen vertrauen kann. Wer verstehen will, warum KI-Systeme so schwer zu kontrollieren sind, stößt früher oder später auf Polysemantizität als eine der technischen Wurzeln dieses Problems.