Parametrisches Wissen

Ein Sprachmodell wie ChatGPT wird mit riesigen Textmengen gefüttert. Dabei stellt es im Inneren Millionen bis Billionen Zahlen so ein, dass es Texte gut fortsetzen kann. Diese Zahlen heißen Parameter. Alles, was das Modell nach dem Training beantworten kann, ohne irgendwo nachzuschauen, steckt in genau diesen Zahlen. Diesen Vorrat nennt man parametrisches Wissen. Man kann sich das wie Wissen vorstellen, das ein Mensch im Kopf hat: verfügbar ohne Nachschlagen, aber auch nicht mehr korrigierbar, sobald es einmal falsch gelernt wurde.

Warum das Modell trotzdem Bücher braucht

Parametrisches Wissen hat einen festen Stichtag. Es endet dort, wo die Trainingsdaten enden. Ein Modell, dessen Daten im Sommer 2024 abgeschnitten wurden, kennt keine Wahlergebnisse vom Herbst 2024. Es weiß aber oft nicht, dass es sie nicht kennt. Genau daraus entstehen viele erfundene Antworten, die man in der Branche Halluzinationen nennt.

Ein zweites Problem ist die Genauigkeit. Das Modell speichert keine Texte im Wortlaut, sondern nur statistische Muster. Häufige Fakten sitzen fest, seltene verschwimmen. Der Geburtsort einer berühmten Person wird meist stimmen, der Umsatz eines mittelständischen Zulieferers im Jahr 2019 dagegen wohl nicht. Das Modell klingt in beiden Fällen gleich überzeugt.

Deshalb ergänzen Unternehmen ihre Modelle um externe Quellen. Das bekannteste Verfahren heißt RAG, kurz für retrieval-augmented generation: Vor der Antwort sucht das System passende Dokumente und legt sie dem Modell als Text vor. Fachleute sprechen dann von nicht-parametrischem Wissen. Es ist aktuell, überprüfbar und lässt sich austauschen, ohne das Modell neu zu trainieren.

Wie Fakten in die Gewichte wandern

Beim Training bekommt das Modell Texte, in denen einzelne Wörter fehlen oder fortgesetzt werden müssen. Rät es falsch, werden die Parameter ein winziges Stück verschoben. Dieser Vorgang wiederholt sich Billionen Mal. Fakten, die in vielen Texten in ähnlicher Form auftauchen, prägen sich dabei besonders tief ein.

Wichtig ist: Es gibt keine Speicherzelle für einen einzelnen Fakt. Das Wissen liegt verteilt über viele Parameter, und ein Parameter trägt zu vielen verschiedenen Fakten bei. Forschung zeigt, dass bestimmte Schichten des Modells besonders viel Faktenwissen enthalten. Aber ein Fakt lässt sich nicht einfach wie eine Zeile in einer Tabelle löschen.

Genau das macht Korrekturen schwierig. Es gibt Verfahren des sogenannten Model Editing, die einzelne Aussagen im Modell gezielt umschreiben. Sie funktionieren, ziehen aber oft Nebenwirkungen an anderer Stelle nach sich. Der übliche Weg ist stattdessen Nachtraining mit neuen Daten oder das Vorlegen korrekter Dokumente zur Laufzeit.

Der Begriff in Produkten und Schlagzeilen

Im Alltag merkt man den Unterschied an der Quellenangabe. Antwortet ein Chatbot ohne Links, stammt die Antwort meist aus dem parametrischen Wissen. Zeigt er Fußnoten oder Webseiten, hat er zusätzlich gesucht. Perplexity und die KI-Übersichten in Google setzen stark auf Suche, klassische Chatmodelle antworten häufiger aus dem Gedächtnis.

In Firmen taucht der Begriff bei Datenschutzfragen auf. Wenn persönliche Daten im Training gelandet sind, stecken sie im parametrischen Wissen und lassen sich schwer entfernen. Das gilt auch für urheberrechtlich geschützte Texte, um die derzeit mehrere Gerichtsverfahren laufen. Firmenwissen legt man deshalb lieber in eine Dokumentensammlung als in ein neu trainiertes Modell.

Ein verbreiteter Irrtum ist übrigens, das Kontextfenster sei Teil dieses Wissens. Das Kontextfenster ist nur der Text, den du gerade eingegeben hast, und es ist nach dem Gespräch wieder weg. Parametrisches Wissen bleibt dagegen unverändert im Modell, egal wie oft du mit ihm sprichst.