Activation Capping

Ein KI-Modell ist im Kern eine riesige Rechenkette. Eingaben werden Schritt für Schritt in Zahlen umgerechnet, und diese Zwischenergebnisse heißen Aktivierungen. Manchmal wird eine dieser Zahlen extrem groß, hunderte oder tausende Male größer als der Rest. Activation Capping setzt genau dort eine Obergrenze: Wird ein Wert zu groß, wird er auf einen festen Höchstwert gestutzt. Man kann sich das vorstellen wie einen Begrenzer im Auto, der bei 250 km/h abriegelt, egal wie stark der Motor ist. Das Modell rechnet weiter, aber kein einzelner Wert kann mehr davonlaufen.

Warum Ausreißerwerte gefährlich sind

Große Modelle rechnen mit begrenzt genauen Zahlenformaten. Sehr große Werte passen dort irgendwann nicht mehr hinein. Das Ergebnis ist dann kein falscher Wert, sondern gar kein Wert mehr: Die Rechnung liefert « unendlich » oder « keine Zahl ». Ein einziger solcher Wert kann sich durch das gesamte Netz fressen und einen Trainingslauf zerstören, der Wochen gedauert hat.

Ein zweites Problem betrifft das Lernen selbst. Beim Training werden die Einstellungen des Modells laufend nachjustiert. Riesige Aktivierungen führen zu riesigen Korrekturen, und das Modell springt dann wild hin und her, statt sich schrittweise zu verbessern. Fachleute sprechen von instabilem Training. Eine Begrenzung der Zwischenwerte dämpft diese Ausschläge, bevor sie entstehen.

Der dritte Grund ist praktischer Natur. Wer ein fertiges Modell später verkleinern will, speichert die Zahlen gröber ab, um Speicher und Rechenzeit zu sparen. Dieses Verfahren heißt Quantisierung. Es funktioniert nur gut, wenn die Werte in einem engen Bereich liegen. Ein einziger Ausreißer zwingt das Format dazu, den ganzen Zahlenbereich zu spreizen, und alle anderen Werte werden dadurch ungenauer.

Wo die Grenze gesetzt wird

Technisch ist Activation Capping simpel. Nach einer Rechenschicht prüft das System jeden Wert. Liegt er über der Grenze, wird er auf die Grenze gesetzt. Liegt er darunter, bleibt er unverändert. Oft gilt dasselbe symmetrisch für sehr negative Werte. Der Aufwand dafür ist minimal und fällt gegenüber der eigentlichen Rechnung kaum ins Gewicht.

Die eigentliche Kunst liegt in der Wahl der Grenze. Ist sie zu hoch, bringt sie nichts. Ist sie zu niedrig, schneidet sie echte Information weg, und das Modell wird schlechter. Entwickler messen deshalb erst, wie die Aktivierungen im Normalbetrieb verteilt sind. Dann setzen sie die Grenze so, dass nur ein winziger Bruchteil der Werte überhaupt betroffen ist.

Wichtig ist die Abgrenzung zum Gradient Clipping. Dort werden nicht die Zwischenergebnisse begrenzt, sondern die Korrektursignale, mit denen das Modell lernt. Beide Verfahren verfolgen dasselbe Ziel, greifen aber an verschiedenen Stellen ein. Ein verbreiteter Irrtum ist außerdem, Capping sei ein Sicherheitsmechanismus gegen unerwünschte Antworten. Es geht rein um Zahlen, nicht um Inhalte.

In Modellkarten und Trainingsberichten

Als Nutzer eines Chatbots merkt man von Activation Capping nichts. Der Begriff taucht dort auf, wo Firmen technisch beschreiben, wie sie ihre Modelle gebaut haben. In den Berichten zu großen Sprachmodellen finden sich regelmäßig Absätze über Maßnahmen gegen instabiles Training, und Begrenzungen der Aktivierungen gehören zum Standardrepertoire.

Besonders sichtbar wird das Thema bei KI auf Smartphones und in Autos. Dort laufen Modelle auf sparsamen Chips mit sehr groben Zahlenformaten. Ohne begrenzte Aktivierungen verlieren solche Modelle spürbar an Qualität. Wenn ein Hersteller damit wirbt, ein Modell laufe direkt auf dem Gerät, steckt fast immer eine Kombination aus Quantisierung und Begrenzungstechniken dahinter.

Auch in älteren Bausteinen der Bildverarbeitung findet sich die Idee. Die Funktion ReLU6 etwa deckelt Aktivierungen fest bei sechs und wurde für mobile Netze entwickelt. Wer Activation Capping verstanden hat, erkennt dieses Muster in vielen Architekturen wieder.