Aktivierungsraum

Ein KI-System rechnet nicht mit Wörtern, sondern ausschließlich mit Zahlen. Wenn du einen Satz eingibst, wird er sofort in lange Zahlenlisten übersetzt. Diese Listen wandern durch viele Rechenschichten und verändern sich dabei Schritt für Schritt. Jede solche Zahlenliste ist ein Punkt in einem gedachten Raum, und genau diesen Raum nennt man Aktivierungsraum. Man kann ihn sich wie eine Landkarte vorstellen, auf der das System jeden Zwischenstand seiner Verarbeitung ablegt. Der Raum hat allerdings nicht zwei oder drei Richtungen wie eine echte Karte, sondern oft mehrere tausend.

Warum Bedeutung dort zu Nachbarschaft wird

Das Erstaunliche an diesem Raum ist, dass Nähe darin etwas bedeutet. Punkte, die inhaltlich zusammengehören, liegen dicht beieinander. Die Zahlenlisten für « Hund » und « Katze » sind einander ähnlicher als die für « Hund » und « Steuererklärung ». Niemand hat das so einprogrammiert. Diese Ordnung entsteht von selbst, weil das Modell beim Training Millionen Beispiele sieht und ähnliche Zusammenhänge ähnlich abspeichert.

Daraus folgt ein praktischer Nutzen. Wenn Bedeutung als Abstand messbar wird, kann man Ähnlichkeit ausrechnen statt raten. Eine Suchmaschine findet so Texte, die zur Frage passen, auch wenn kein einziges Wort wörtlich übereinstimmt. Empfehlungssysteme arbeiten nach demselben Prinzip mit Filmen, Produkten oder Musikstücken.

Noch wichtiger ist der Aktivierungsraum für die Forschung an der Sicherheit von KI. Große Modelle sind für Menschen von außen kaum durchschaubar. Wer wissen will, warum ein System eine bestimmte Antwort gibt, muss ins Innere schauen. Der Aktivierungsraum ist der Ort, an dem dieses Innere überhaupt sichtbar wird.

Richtungen, Schichten und der Blick hinein

Technisch besteht ein Modell aus vielen hintereinandergeschalteten Schichten. Jede Schicht nimmt die Zahlen der vorherigen entgegen, verrechnet sie und gibt neue Zahlen weiter. Diese Ausgabewerte heißen Aktivierungen. Jede Schicht hat also ihren eigenen Aktivierungsraum, und die Räume unterscheiden sich stark voneinander.

In frühen Schichten stehen die Zahlen noch nah an der reinen Wortform. Weiter hinten werden sie abstrakter und erfassen eher Bedeutung, Tonfall oder Absicht. Forscher greifen die Zahlen an einer bestimmten Stelle ab und untersuchen sie mit statistischen Verfahren. Ein Ziel dabei ist, einzelne Richtungen im Raum zu finden, die für ein klares Konzept stehen.

Solche Richtungen lassen sich nicht nur lesen, sondern auch verändern. Verschiebt man die Aktivierungen entlang einer gefundenen Richtung, ändert sich das Verhalten des Modells. Auf diese Weise hat man Systeme höflicher oder auch riskanter antworten lassen, ohne sie neu zu trainieren. Dieses gezielte Eingreifen nennt man Steering, und es ist derzeit ein sehr aktives Forschungsfeld.

Von der Vektorsuche bis zum Lügendetektor

Am häufigsten begegnet dir der Aktivierungsraum in Form sogenannter Embeddings. Das sind Zahlenlisten, die ein Modell für einen Text oder ein Bild ausgibt und die man dauerhaft speichert. Firmen legen Millionen davon in Vektordatenbanken ab. Fragt jemand etwas, sucht das System die nächstgelegenen Punkte und liefert die zugehörigen Dokumente. Genau so funktionieren viele Chatbots, die Auskunft über interne Firmenunterlagen geben.

In Fachnachrichten taucht der Begriff außerdem bei der Interpretierbarkeit auf. Labore wie Anthropic oder OpenAI veröffentlichen regelmäßig Arbeiten darüber, welche Konzepte sie im Aktivierungsraum ihrer Modelle gefunden haben. Manche Ansätze prüfen sogar, ob ein Modell intern etwas anderes repräsentiert als das, was es ausgibt. Verlässlich ist ein solcher Lügendetektor bislang nicht, aber die Richtung ist ernst gemeint.

Ein verbreiteter Irrtum sollte noch ausgeräumt werden. Der Aktivierungsraum ist nicht das Gedächtnis des Modells und auch nicht sein gespeichertes Wissen. Das Wissen steckt in den Gewichten, also den festen Zahlen, die beim Training gelernt wurden. Die Aktivierungen entstehen dagegen bei jeder einzelnen Anfrage neu und verschwinden danach wieder. Man kann es mit dem Unterschied zwischen deinem gelernten Schulstoff und deinen Gedanken während einer konkreten Aufgabe vergleichen.