Gedächtniszerfall

Computerprogramme, die Texte verstehen und schreiben, merken sich nicht alles gleich gut. Was am Anfang eines langen Gesprächs gesagt wurde, wird oft ungenauer wiedergegeben als das Zuletztgesagte. Genau diesen allmählichen Verlust nennt man Gedächtniszerfall. Der Begriff wird in zwei Bedeutungen benutzt. Einmal geht es um das kurzfristige Merken innerhalb eines laufenden Gesprächs. Zum anderen geht es um langfristig Gelerntes, das beim erneuten Lernen überschrieben wird.

Warum Chatbots mitten im Gespräch den Faden verlieren

Für Nutzer ist Gedächtniszerfall der Grund für eine sehr typische Frustration. Man erklärt einem Assistenzprogramm zu Beginn genau, wie die Antwort aussehen soll. Zwanzig Nachrichten später hält es sich nicht mehr daran. Das Programm ist nicht unaufmerksam, sondern die frühen Angaben haben schlicht an Gewicht verloren.

Wirtschaftlich ist das ein ernstes Problem. Firmen wollen KI-Systeme für lange Aufgaben einsetzen, etwa für die Bearbeitung eines Kundenfalls über Wochen. Wenn das System dabei ständig frühere Absprachen vergisst, ist es unbrauchbar. Deshalb investieren Anbieter viel Geld in längeres und stabileres Erinnern.

Ein zweiter Punkt betrifft die Entwickler selbst. Wer ein fertiges Modell auf eine neue Aufgabe trainiert, riskiert, dass es alte Fähigkeiten einbüßt. Ein Sprachmodell, das intensiv auf Programmiercode nachtrainiert wird, kann danach schlechter Gedichte schreiben. Fachleute sprechen hier von katastrophalem Vergessen.

Kontextfenster, Gewichtung und überschriebene Zahlen

Für das kurzfristige Gedächtnis ist das sogenannte Kontextfenster zuständig. Das ist die Menge an Text, die ein Modell bei einer Antwort gleichzeitig überblicken kann. Sie wird in Token gemessen, also in Wortbausteinen. Moderne Modelle schaffen hunderttausende davon. Ist das Fenster voll, fällt der älteste Text heraus und ist endgültig weg.

Aber schon vor diesem harten Abschneiden setzt der Zerfall ein. Das Modell bewertet bei jeder Antwort, welche Textstellen wichtig sind. Nahe stehende und mehrfach wiederholte Informationen bekommen dabei mehr Gewicht. Weit entfernte Details werden schwächer gewichtet und wirken sich kaum noch aus. Man kann sich das wie eine Tafel vorstellen, auf die ständig neu geschrieben wird, während Älteres verwischt.

Beim Langzeitgedächtnis läuft es anders. Das Wissen eines Modells steckt in Milliarden von Zahlen, den Parametern. Neues Training verändert genau diese Zahlen. Wird stark auf ein einziges Gebiet trainiert, verschieben sich Werte, die vorher anderes Wissen getragen haben. Gegenmittel sind kleinere Lernschritte oder Trainingsverfahren, die nur einen kleinen Teil der Parameter anfassen.

Vom Notizzettel des Assistenten bis zur Vertragsprüfung

Im Alltag begegnet der Gedächtniszerfall jedem, der längere Chats mit einem KI-Assistenten führt. Ein praktischer Umgang damit ist, wichtige Vorgaben regelmäßig zu wiederholen. Auch das Zusammenfassen des bisherigen Gesprächs hilft, weil die Kernpunkte dadurch wieder frisch im Fenster stehen.

Die Anbieter selbst arbeiten mit Zusatzsystemen. Viele Assistenten legen ausgewählte Fakten über den Nutzer in einer separaten Datei ab, oft schlicht Memory genannt. Vor jeder Antwort werden passende Einträge daraus in den Text eingefügt. Ein verwandtes Verfahren sucht Informationen in Dokumenten und reicht nur die relevanten Stellen nach. Beides ersetzt kein echtes Gedächtnis, sondern gleicht dessen Schwäche aus.

In Fachnachrichten taucht das Thema meist bei zwei Anlässen auf. Erstens, wenn Hersteller mit immer größeren Kontextfenstern werben. Zweitens, wenn Tests zeigen, dass ein Modell trotz riesigem Fenster Angaben in der Mitte eines langen Dokuments übersieht. Ein häufiger Irrtum ist deshalb die Annahme, ein großes Fenster bedeute automatisch zuverlässiges Erinnern. Die Kapazität sagt nur, wie viel hineinpasst, nicht wie gut es genutzt wird.