Aktivierung (neuronales Netz)
Eine Aktivierung ist der Zahlenwert, den eine einzelne Recheneinheit in einem künstlichen neuronalen Netz gerade ausgibt. Alle Aktivierungen zusammen bilden den Zwischenstand, mit dem das Netz eine Eingabe schrittweise in eine Antwort verwandelt.
Ein künstliches neuronales Netz ist ein Rechenprogramm aus vielen kleinen, gleichartigen Bausteinen. Jeder dieser Bausteine bekommt Zahlen von anderen Bausteinen, verrechnet sie und gibt eine neue Zahl weiter. Genau diese ausgegebene Zahl nennt man Aktivierung. Ist sie groß, hat der Baustein in seiner Eingabe etwas gefunden, worauf er reagiert. Ist sie null oder nahe null, hat er nichts Passendes gefunden und bleibt still. Der Name kommt aus der Biologie: eine Nervenzelle feuert stark oder eben gar nicht.
Was Aktivierungen über den Zwischenstand verraten
Ein Netz kommt nicht in einem Sprung von der Eingabe zur Antwort. Es rechnet in Schichten, also in Etappen hintereinander. Nach jeder Etappe existiert ein Zwischenergebnis, und dieses Zwischenergebnis besteht aus nichts anderem als Aktivierungen. Man kann sie sich als Notizen vorstellen, die das Netz unterwegs anlegt.
Für Forscher sind diese Notizen der einzige Blick ins Innere. Bei einem Bilderkenner lässt sich messen, welche Einheiten bei Katzenbildern hohe Werte zeigen. Bei Sprachmodellen sucht man nach Aktivierungsmustern, die etwa mit Höflichkeit oder mit einer bestimmten Sprache zusammenhängen. Dieses Forschungsfeld heißt Interpretierbarkeit und will erklären, warum ein Modell antwortet, wie es antwortet.
Aktivierungen kosten außerdem Speicher, und zwar viel. Während des Lernens muss das System die Zwischenwerte aufbewahren, um sie später zurückzuverfolgen. Bei großen Modellen füllen diese Werte den Grafikkartenspeicher schneller als das Modell selbst. Deshalb ist der Begriff nicht nur theoretisch, sondern eine harte technische Grenze.
Von der Summe zur Zahl: die Aktivierungsfunktion
Ein Baustein rechnet in zwei Schritten. Zuerst bildet er eine gewichtete Summe: jede eingehende Zahl wird mit einem Gewicht multipliziert, dann wird alles addiert. Gewichte sind die Werte, die das Netz beim Lernen anpasst. Diese Summe ist noch nicht die Aktivierung.
Im zweiten Schritt läuft die Summe durch eine sogenannte Aktivierungsfunktion. Sie ist eine kleine Rechenregel, die das Ergebnis verbiegt. Die verbreitetste heißt ReLU und ist verblüffend einfach: negative Werte werden zu null, positive bleiben unverändert. Andere Varianten quetschen alles in den Bereich zwischen null und eins.
Dieses Verbiegen ist kein Detail, sondern der Kern der Sache. Ohne Aktivierungsfunktion wären alle Schichten nur Additionen und Multiplikationen. Ein Netz mit hundert Schichten könnte dann nicht mehr als ein Netz mit einer einzigen. Erst der nichtlineare Knick erlaubt es, komplizierte Zusammenhänge zu lernen. Ein häufiger Irrtum ist, Aktivierung und Aktivierungsfunktion gleichzusetzen: die Funktion ist die Regel, die Aktivierung ihr Ergebnis.
Wo der Begriff in Meldungen und Werkzeugen auftaucht
Wer über KI liest, stößt auf Aktivierungen meist beim Thema Sicherheit und Kontrolle. Firmen wie Anthropic oder OpenAI veröffentlichen Arbeiten, in denen sie im Modell nach Einheiten suchen, die bei gefährlichen Themen anschlagen. Manchmal verstärken oder dämpfen sie solche Werte gezielt, um das Verhalten zu verändern. Das nennt man Aktivierungssteuerung.
Auch in Produktmeldungen steckt der Begriff, oft versteckt. Wenn ein Anbieter mit längeren Kontextfenstern wirbt, also mit mehr Text pro Anfrage, geht es im Hintergrund um Speicher für Zwischenwerte. Techniken wie Aktivierungs-Checkpointing werfen Zwischenergebnisse weg und rechnen sie später neu, um Speicher zu sparen.
Für dich selbst ist der Begriff vor allem ein Verständniswerkzeug. Wenn du hörst, ein Modell habe Milliarden Parameter, sind das die Gewichte, also das gespeicherte Wissen. Die Aktivierungen dagegen entstehen frisch bei jeder einzelnen Anfrage und verschwinden danach wieder. Gewichte sind das Gedächtnis, Aktivierungen sind der aktuelle Gedanke.