Aktivierung

Moderne KI-Systeme bestehen aus vielen kleinen Recheneinheiten, die man Neuronen nennt. Jede dieser Einheiten sammelt Zahlen von den Einheiten vor ihr ein, verrechnet sie und gibt eine einzige neue Zahl weiter. Genau diese ausgegebene Zahl heißt Aktivierung. Sie sagt, wie stark die betreffende Einheit auf die aktuelle Eingabe anspricht. Man kann sich das wie die Lautstärke vorstellen, mit der eine Einheit ihr Ergebnis in die nächste Runde ruft. Ist die Zahl null, schweigt die Einheit und trägt nichts bei.

Was Aktivierungen über das Innenleben eines Modells verraten

Ein KI-Modell speichert sein Wissen in festen Zahlen, den sogenannten Gewichten. Diese Gewichte ändern sich nach dem Training nicht mehr. Die Aktivierungen dagegen entstehen bei jeder einzelnen Anfrage neu. Sie sind also das, was gerade passiert, während die Gewichte das sind, was das Modell gelernt hat.

Deshalb schauen Forscher genau auf diese Zwischenwerte, wenn sie verstehen wollen, warum ein Modell etwas antwortet. Ein ganzes Forschungsfeld beschäftigt sich damit, einzelne Aktivierungsmuster bestimmten Bedeutungen zuzuordnen. Man hat zum Beispiel Muster gefunden, die immer dann stark werden, wenn im Text von einer Stadt die Rede ist. Solche Befunde sind der Anfang davon, KI-Systeme nicht mehr nur als undurchschaubare Black Box zu behandeln.

Aktivierungen kosten außerdem Speicher. Während ein Modell rechnet, müssen viele dieser Zwischenwerte gleichzeitig vorgehalten werden. Bei sehr langen Texten wird das zum eigentlichen Engpass, nicht die Größe des Modells selbst. Wer Rechenkosten senken will, muss deshalb auch die Aktivierungen im Blick haben.

Vom Summieren zur Aktivierungsfunktion

Der Weg zu einer Aktivierung hat zwei Schritte. Zuerst multipliziert die Einheit jeden Eingangswert mit seinem Gewicht und addiert alles zusammen. Das Ergebnis ist eine einzelne Zahl, die beliebig groß oder klein sein kann. Danach wird diese Zahl durch die sogenannte Aktivierungsfunktion geschickt.

Diese Funktion verbiegt den Wert nach einer festen Regel. Die heute gebräuchlichste Regel heißt ReLU und ist erstaunlich simpel: negative Zahlen werden zu null, positive bleiben unverändert. Andere Funktionen quetschen den Wert stattdessen in einen Bereich zwischen null und eins. In jedem Fall ist das Ergebnis die Aktivierung, die an die nächste Schicht weitergereicht wird.

Dieser zweite Schritt klingt nach einer Kleinigkeit, ist aber entscheidend. Ohne ihn würde das Netz nur addieren und multiplizieren. Es könnte dann selbst mit hundert Schichten nur einfache, gerade Zusammenhänge abbilden. Erst das Verbiegen durch die Aktivierungsfunktion erlaubt es, komplizierte Muster wie Gesichter oder Satzbedeutungen zu erfassen.

Der Begriff in Fachartikeln und Werkzeugen

In Berichten über KI-Forschung taucht das Wort oft im Zusammenhang mit Sicherheit auf. Firmen wie Anthropic oder OpenAI veröffentlichen Studien, in denen sie Aktivierungen auslesen und interpretieren. Manchmal greifen sie sogar aktiv ein und verstärken einzelne Muster künstlich. Das Modell verhält sich danach anders, ohne dass man es neu trainiert hat.

Auch bei Bildmodellen begegnet einem der Begriff. Wenn ein Netz ein Foto verarbeitet, kann man die Aktivierungen der frühen Schichten als Bild darstellen. Dort erkennt man Kanten und Farbverläufe. In tieferen Schichten reagieren die Einheiten auf ganze Objekte wie Räder oder Augen.

Ein häufiger Irrtum ist, Aktivierungen mit Parametern zu verwechseln. Wenn von einem Modell mit siebzig Milliarden Parametern die Rede ist, sind damit die gelernten Gewichte gemeint, nicht die Aktivierungen. Parameter kann man herunterladen und auf eine Festplatte legen. Aktivierungen entstehen erst in dem Moment, in dem das Modell tatsächlich rechnet, und verschwinden danach wieder.