State Corruption

Fast jedes Computerprogramm merkt sich, wo es gerade steht. Ein Online-Shop merkt sich, was im Warenkorb liegt. Ein Chatprogramm merkt sich, worüber vorher gesprochen wurde. Diese Gesamtheit der gemerkten Informationen nennt man den Zustand, auf Englisch State. Von State Corruption spricht man, wenn dieser gemerkte Zustand kaputtgeht oder verfälscht wird. Das Programm stürzt dabei oft nicht ab. Es rechnet einfach weiter, nur eben mit falschen Annahmen über die Welt.

Der Fehler, den niemand bemerkt

Ein Absturz ist ärgerlich, aber ehrlich. Man sieht sofort, dass etwas nicht stimmt. Ein verfälschter Zustand ist gefährlicher, weil er unsichtbar bleibt. Das System liefert weiter Ergebnisse, und die sehen auf den ersten Blick plausibel aus.

Ein Beispiel aus dem Bankwesen macht das deutlich. Eine Überweisung besteht aus zwei Schritten: abbuchen und gutschreiben. Bricht das System nach dem ersten Schritt ab, ist das Geld verschwunden. Die Datenbank ist danach in einem Zustand, den es in der echten Welt nicht geben dürfte. Genau deshalb bauen Datenbanken enormen Aufwand darum herum, dass solche halben Vorgänge nicht dauerhaft bestehen bleiben.

Bei KI-Systemen kommt ein zweites Problem hinzu. Fehler im Zustand pflanzen sich fort. Wenn ein Assistent, der mehrere Arbeitsschritte hintereinander ausführt, sich früh eine falsche Information merkt, baut er alle weiteren Schritte darauf auf. Aus einem kleinen Fehler wird eine lange Kette falscher Entscheidungen.

Wie ein Zustand kaputtgeht

Eine klassische Ursache sind gleichzeitige Zugriffe. Zwei Teile eines Programms verändern denselben gespeicherten Wert im selben Moment. Beide lesen den alten Stand, beide schreiben ihr Ergebnis zurück, und eine der beiden Änderungen geht verloch. Fachleute nennen das eine Race Condition, also ein Wettrennen um dieselbe Speicherstelle.

Eine andere Ursache sind abgebrochene Vorgänge. Strom weg, Netzwerk weg, Prozess beendet: Der Zustand friert mitten in einer Änderung ein. Auch fehlerhafte Eingaben zählen dazu. Wenn ein System Daten übernimmt, ohne sie zu prüfen, wandert der Unsinn direkt in den Speicher.

Bei KI-Agenten, also Programmen, die selbstständig mehrere Schritte planen und ausführen, entsteht Zustandskorruption oft ganz ohne technischen Defekt. Der Agent schreibt sich ein Zwischenergebnis auf, das er sich falsch erschlossen hat. Technisch ist alles in Ordnung, inhaltlich nicht. Man muss das von einer Halluzination unterscheiden: Bei der Halluzination erfindet das Modell eine Antwort im Moment, bei State Corruption steht der falsche Wert dauerhaft im Gedächtnis des Systems und wird immer wieder verwendet.

Von Sicherheitslücken bis zum Chatbot-Gedächtnis

In Sicherheitsmeldungen taucht der Begriff regelmäßig auf. Angreifer versuchen gezielt, den Speicherzustand eines Programms zu verfälschen, um es zu eigenen Zwecken zu benutzen. Viele bekannte Schwachstellen in Betriebssystemen und Browsern gehören in diese Kategorie. Hersteller liefern dafür Sicherheitsupdates aus.

Im Alltag begegnet einem das Phänomen harmloser. Eine App zeigt einen Warenkorb an, der längst geleert wurde. Ein Spielstand ist plötzlich unbrauchbar. Ein Chatverlauf besteht darauf, dass man in einer anderen Stadt wohnt, weil eine falsche Angabe im Langzeitgedächtnis gelandet ist. Der Standardrat, die App neu zu starten, zielt genau darauf: Man wirft den kaputten Zustand weg und beginnt sauber.

In der Entwicklung von KI-Agenten ist das Thema derzeit besonders präsent. Firmen bauen deshalb Prüfpunkte ein, an denen der Zustand gegen die Realität abgeglichen wird. Andere lassen Agenten bewusst mit einem frischen, leeren Gedächtnis starten, wenn eine Aufgabe abgeschlossen ist. Beides kostet Rechenzeit, verhindert aber, dass sich ein einzelner Fehler durch stundenlange Arbeit zieht.