Parametrisches Gedächtnis
Das parametrische Gedächtnis ist das Wissen, das ein KI-Modell während des Trainings in seinen eigenen Zahlenwerten gespeichert hat. Es steckt fest im Modell, lässt sich nicht einfach nachschlagen oder korrigieren und ist der Grund, warum Sprachmodelle Fakten wiedergeben können – manchmal aber auch falsch.
Ein Sprachprogramm wie ChatGPT besteht im Kern aus vielen Milliarden Zahlen. Diese Zahlen werden beim Lernen aus riesigen Textmengen langsam eingestellt, bis das Programm brauchbare Antworten gibt. Alles, was das Programm dabei über die Welt aufgenommen hat, steckt danach ausschließlich in diesen Zahlen. Genau dieses eingebaute Wissen nennt man parametrisches Gedächtnis: die Zahlenwerte heißen Parameter, und sie sind der einzige Ort, an dem das Gelernte liegt. Es gibt darin keine Liste von Fakten und keinen Text, den man aufschlagen könnte. Wenn das Programm sagt, dass Paris die Hauptstadt Frankreichs ist, dann liest es das nirgends nach – es rechnet die Antwort aus seinen Zahlen heraus.
Warum eingebautes Wissen so unzuverlässig ist
Ein Lexikon kann man aufschlagen und prüfen. Ein parametrisches Gedächtnis nicht. Niemand kann in einem großen Modell die Stelle zeigen, an der ein bestimmter Fakt gespeichert ist. Wissen ist über viele Zahlen verteilt, und dieselben Zahlen tragen gleichzeitig unzählige andere Informationen.
Daraus folgt ein bekanntes Problem: Modelle erfinden manchmal Dinge, die plausibel klingen, aber falsch sind. Fachleute nennen das Halluzination. Der Grund ist, dass das Modell keine Trennung kennt zwischen „das habe ich gelernt“ und „das passt sprachlich gut“. Es erzeugt in beiden Fällen dieselbe Art von Antwort, im gleichen selbstsicheren Ton.
Ein zweites Problem ist die Zeit. Das parametrische Gedächtnis ist an dem Tag stehen geblieben, an dem das Training endete. Diesen Zeitpunkt nennt man Wissensstichtag. Ein Modell von 2024 weiß nichts über ein Ereignis von 2026 – und es weiß auch nicht, dass es das nicht weiß.
Wie Fakten in die Zahlen geraten
Beim Training bekommt das Modell Textausschnitte und soll jeweils das nächste Wort vorhersagen. Liegt es falsch, werden seine Zahlen ein winziges Stück verschoben. Das passiert milliardenfach. Fakten, die in den Trainingstexten oft und gleichlautend vorkommen, prägen sich dabei stark ein. Seltene Details verschwinden dagegen fast völlig.
Man kann sich das wie das Einüben von Vokabeln über Jahre vorstellen. Häufige Wörter sitzen irgendwann von selbst. Was man einmal gehört hat, kommt bestenfalls verzerrt zurück. Genau so verhalten sich Modelle: bei berühmten Personen sind sie recht sicher, bei unbekannten erfinden sie Biografien.
Deshalb kombiniert man in der Praxis zwei Gedächtnisarten. Das parametrische Gedächtnis liefert Sprachgefühl und allgemeines Weltwissen. Zusätzlich sucht das System vor dem Antworten in echten Dokumenten und legt die Fundstellen in die Anfrage. Dieses Nachschlagen heißt Retrieval Augmented Generation, kurz RAG, und wird als nichtparametrisches Gedächtnis bezeichnet – weil es außerhalb der Zahlen liegt und jederzeit austauschbar ist.
Wo der Unterschied im Alltag sichtbar wird
Am deutlichsten merkt man es an Quellenangaben. Antwortet ein Chatbot ohne Links, arbeitet er meist aus dem parametrischen Gedächtnis. Nennt er konkrete Webseiten oder Dateien, hat er nachgeschlagen. Genau darum bieten Suchmaschinen mit KI-Antworten inzwischen fast immer Fußnoten an.
In Unternehmen ist der Unterschied eine Geldfrage. Ein Modell mit neuem Firmenwissen nachzutrainieren kostet Rechenzeit und muss bei jeder Änderung wiederholt werden. Eine Dokumentensuche daneben zu stellen ist billiger und lässt sich täglich aktualisieren. Deshalb setzen die meisten Firmen zuerst auf RAG und nur selten auf zusätzliches Training.
In Nachrichten begegnet dir der Begriff außerdem bei Streitfragen zum Urheberrecht. Wenn Verlage klagen, geht es oft darum, dass geschützte Texte im parametrischen Gedächtnis eines Modells weiterleben. Einzelne Inhalte daraus wieder zu entfernen ist technisch extrem schwierig – ein aktives Forschungsfeld, das unter dem Namen Machine Unlearning läuft.