Parametrisches Gedächtnis
Das parametrische Gedächtnis ist das Wissen, das ein KI-Modell während des Trainings in seine eigenen Zahlenwerte eingebaut hat. Es steckt fest im Modell, ist nicht als Text nachlesbar und lässt sich nur schwer nachträglich korrigieren.
Ein Sprachmodell ist im Kern eine riesige Sammlung von Zahlen. Diese Zahlen heißen Gewichte, und sie legen fest, welches Wort das Programm als nächstes ausgibt. Beim Training liest das Programm enorme Mengen Text und passt seine Gewichte immer wieder leicht an. Was dabei an Wissen hängen bleibt, ist im Nachhinein nirgends als Satz gespeichert, sondern nur noch in diesen Zahlen. Genau dieses in den Zahlen eingebaute Wissen nennt man das parametrische Gedächtnis. Man kann es nicht öffnen und durchblättern, man kann es nur durch Fragen abrufen.
Warum Modelle Fakten erfinden
Ein Buch speichert Wissen wortwörtlich. Das parametrische Gedächtnis speichert es eher wie eine Erinnerung. Es bleibt der ungefähre Zusammenhang, nicht der exakte Wortlaut. Deshalb kann ein Modell den Sinn einer Sache richtig treffen und trotzdem eine falsche Jahreszahl nennen.
Das erklärt einen berühmten Schwachpunkt: Modelle geben manchmal frei erfundene Antworten in völlig überzeugendem Ton. Für das Modell fühlt sich eine erfundene Quelle genauso plausibel an wie eine echte. Beides ist nur ein Muster in seinen Zahlen. Ein Unterschied zwischen „gelernt“ und „geraten“ ist im parametrischen Gedächtnis nicht markiert.
Ein zweites Problem ist das Alter des Wissens. Das Training endet an einem bestimmten Tag, und alles Spätere fehlt. Wer ein Modell nach dem aktuellen Aktienkurs fragt, bekommt bestenfalls einen Wert von damals. Das parametrische Gedächtnis veraltet, ohne dass das Modell es merkt.
Wie Wissen in die Gewichte kommt
Im Training bekommt das Modell Textstellen und soll das jeweils nächste Wort vorhersagen. Liegt es falsch, werden Millionen Gewichte um winzige Beträge verschoben. Nach vielen Milliarden solcher Schritte sagt das Modell zu „Die Hauptstadt von Frankreich ist“ ziemlich sicher „Paris“. Dieses Faktum liegt nicht an einer Stelle, sondern verteilt über sehr viele Gewichte.
Diese Verteilung ist der Grund, warum Nachbessern schwer ist. Man kann nicht einfach einen Eintrag ändern wie in einer Tabelle. Es gibt Forschung zum Model Editing, also zum gezielten Umschreiben einzelner Fakten in den Gewichten. In der Praxis reißt so ein Eingriff aber oft an anderer Stelle etwas kaputt.
Als Gegenstück gibt es das nicht-parametrische Gedächtnis. Dabei liegt das Wissen außerhalb des Modells, etwa in einer Datenbank oder in Dokumenten. Das Modell sucht sich passende Textstellen und liest sie beim Antworten mit. Dieses Verfahren heißt Retrieval Augmented Generation, kurz RAG. Der Vorteil: Man aktualisiert einfach die Dokumente, nicht das Modell.
Was das für Chatbots und Firmen bedeutet
Wenn ein Chatbot ohne Internetzugriff antwortet, arbeitet er rein aus dem parametrischen Gedächtnis. Wenn er Links anzeigt oder aus einer hochgeladenen Datei zitiert, kommt Wissen von außen dazu. Der Unterschied ist praktisch wichtig: Antworten aus dem Gedächtnis sind schnell, aber schlecht überprüfbar. Antworten mit Quelle kann man nachlesen.
Deshalb setzen Unternehmen bei internen Assistenten fast immer auf externe Dokumente. Eine Bank will keinen Bot, der Vertragsbedingungen aus dem Gedächtnis rekonstruiert. Sie will einen Bot, der die aktuelle Fassung im Dokument nachschlägt. Das parametrische Gedächtnis liefert dann vor allem Sprache, Logik und Allgemeinbildung.
In Fachnachrichten begegnet der Begriff außerdem bei Debatten um Urheberrecht und Datenschutz. Wenn Trainingstexte im Gedächtnis eines Modells weiterleben, ist unklar, ob und wie man sie wieder entfernen kann. Der Fachausdruck dafür ist Machine Unlearning. Ein typischer Irrtum ist übrigens, das parametrische Gedächtnis mit dem Chatverlauf zu verwechseln. Der Verlauf ist kurzfristiger Kontext und verschwindet, das Gedächtnis in den Gewichten bleibt.