Pre-Generation-Aktivierungen

Ein Sprachmodell ist ein Programm, das Texte fortsetzt, indem es Wort für Wort das jeweils passendste Wort berechnet. Bevor das erste Wort einer Antwort erscheint, rechnet das Programm die Frage einmal komplett durch. Dabei entstehen in seinem Inneren riesige Mengen von Zwischenzahlen. Diese Zwischenzahlen heißen Aktivierungen, und die vor dem ersten ausgegebenen Wort nennt man Pre-Generation-Aktivierungen. Sie sind so etwas wie der Zustand des Modells kurz vor dem Sprechen. Wer sie ausliest, sieht nicht die Antwort, sondern die Vorbereitung darauf.

Was die Zahlen vor dem ersten Wort verraten

Ein Modell nach seinen Gründen zu fragen, ist unzuverlässig. Es formuliert dann eine Erklärung, die plausibel klingt, aber nicht zwingend beschreibt, was intern wirklich passiert ist. Die Aktivierungen dagegen sind keine Erzählung, sondern der tatsächliche Rechenzustand. Deshalb gelten sie als vergleichsweise ehrliche Quelle.

Besonders interessant ist der Zeitpunkt. Wenn sich schon vor dem ersten Wort ablesen lässt, wohin die Antwort läuft, kann man eingreifen, bevor etwas Problematisches ausgegeben wird. Anbieter nutzen das für Sicherheitsfilter: Ein kleines Zusatzprogramm prüft die Aktivierungen und stoppt die Antwort, wenn sie in eine unerwünschte Richtung zeigt. Das ist schneller und billiger, als den fertigen Text hinterher zu prüfen.

Auch für die Forschung sind sie wertvoll. Man kann testen, ob ein Modell eine Frage überhaupt richtig verstanden hat, oder ob es intern bereits weiß, dass es die Antwort nicht kennt — und sie trotzdem erfindet. Solche Fälle heißen Halluzinationen: erfundene Angaben, die selbstbewusst vorgetragen werden.

Vom Text zum Zahlenzustand

Der erste Schritt heißt Prefill. Das Modell liest die gesamte Eingabe auf einmal und schickt sie durch seine Schichten. Eine Schicht ist eine Rechenstufe, und große Modelle haben oft 40 bis über 100 davon. In jeder Schicht entsteht für jedes Wort eine lange Zahlenreihe, häufig mehrere tausend Zahlen lang. Genau diese Reihen sind die Aktivierungen.

Man kann sich das wie eine Fabrik mit vielen Fließbandstationen vorstellen. Der Text geht vorne hinein, jede Station verändert ihn etwas, und erst am Ende fällt ein Wort heraus. Die Pre-Generation-Aktivierungen sind das, was zwischen den Stationen liegt, kurz bevor das erste Teil die Fabrik verlässt.

Um daraus Bedeutung zu gewinnen, trainiert man kleine Hilfsmodelle, sogenannte Probes. Eine Probe bekommt Beispiele gezeigt und lernt, aus dem Zahlenmuster eine einfache Aussage abzuleiten. Etwa: Ist diese Anfrage ein Täuschungsversuch, ja oder nein? Wichtig ist die Abgrenzung zum Prompting: Beim Prompting redet man mit dem Modell, hier misst man es von außen.

Wo der Begriff in Meldungen auftaucht

Am häufigsten liest man davon in Berichten über KI-Sicherheit. Labore wie Anthropic oder OpenAI veröffentlichen regelmäßig Studien, in denen sie interne Zustände auslesen, um Täuschung oder gefährliche Absichten früh zu erkennen. Dieses Forschungsfeld heißt Interpretierbarkeit: der Versuch, das Innenleben eines Modells lesbar zu machen.

Ein zweiter Ort sind Produkte. Wenn ein Chatbot eine Anfrage schon nach Sekundenbruchteilen ablehnt, statt erst einen halben Satz zu schreiben, steckt oft eine solche Prüfung dahinter. Auch Systeme, die Anfragen automatisch an ein billigeres oder teureres Modell weiterleiten, entscheiden manchmal anhand dieser frühen Zahlenmuster.

Ein verbreiteter Irrtum ist, die Aktivierungen seien so etwas wie Gedanken. Das sind sie nicht. Es sind Rechenwerte ohne Bedeutung an sich; erst eine trainierte Auswertung macht daraus eine Aussage, und die kann falsch liegen. Für Anleger und Beobachter ist der Punkt trotzdem relevant: Ein Anbieter, der Risiken vor der Ausgabe erkennt, spart Rechenzeit und senkt sein Haftungsrisiko.