Knowledge Decay
Knowledge Decay bezeichnet das Veralten des Wissens, das ein KI-System beim Lernen aufgenommen hat. Das System bleibt auf dem Stand seiner Lerndaten, während sich die Welt weiterdreht — und liefert deshalb mit der Zeit immer öfter überholte Antworten.
Programme wie ChatGPT lernen aus riesigen Mengen Text, die vorher gesammelt wurden. Diese Sammlung hat ein Enddatum. Alles, was danach passiert ist, kennt das Programm nicht. Und noch wichtiger: Vieles, was es gelernt hat, stimmt inzwischen nicht mehr. Preise ändern sich, Regierungen wechseln, Firmen werden umbenannt, Rekorde werden gebrochen. Genau dieses langsame Ungültigwerden des gelernten Wissens nennt man Knowledge Decay, auf Deutsch etwa Wissensverfall. Ein passender Vergleich ist ein gedrucktes Lexikon von 2019: Es ist nicht falsch geschrieben, es ist nur an vielen Stellen überholt.
Warum alte Antworten teuer werden können
Der Ärger beginnt damit, dass veraltete Antworten nicht veraltet klingen. Ein Sprachmodell formuliert eine Information von 2023 genauso selbstbewusst wie eine von gestern. Es gibt keinen Warnhinweis, kein Verfallsdatum am Satz. Wer die richtige Antwort nicht kennt, merkt den Unterschied nicht.
In manchen Bereichen ist das nur lästig, in anderen riskant. Bei Steuersätzen, Zinsen, Medikamentendosierungen oder Gesetzen entscheidet die Aktualität über richtig und falsch. Ein Unternehmen, das seinen Kundenservice an ein KI-System übergibt, haftet für dessen Auskünfte. Ein Modell, das noch die alte Rückgabefrist nennt, verursacht echte Kosten.
Für Anbieter von KI-Modellen ist Knowledge Decay deshalb auch ein Geschäftsproblem. Ein Modell verliert an Wert, je länger es unverändert im Einsatz ist. Das erklärt, warum große Anbieter im Abstand weniger Monate neue Versionen veröffentlichen. Ein Teil dieser Updates bringt keine neuen Fähigkeiten, sondern schlicht frischeres Wissen.
Woher das Verfallsdatum im Modell kommt
Beim Training werden dem Modell Milliarden von Textbausteinen gezeigt. Es speichert dabei keine Artikel oder Tabellen, sondern passt Millionen interner Stellschrauben an. Diese Stellschrauben nennt man Parameter. Danach steht das Modell fest und verändert sich von allein nicht mehr. Der letzte Zeitpunkt in den Trainingsdaten heißt Knowledge Cutoff, also Wissensgrenze.
Ab diesem Datum beginnt der Verfall, und er läuft ungleichmäßig. Mathematik, Grammatik und Physik altern praktisch nicht. Personen in Ämtern, Produktversionen, Kurse und Preise altern innerhalb von Monaten. Deshalb kann dasselbe Modell in einem Fach völlig zuverlässig sein und im nächsten peinlich daneben liegen.
Gegenmittel gibt es zwei Arten. Beim Nachtrainieren bekommt das Modell neue Daten und aktualisiert seine Parameter — das ist wirksam, aber aufwendig und teuer. Der übliche Weg ist stattdessen, dem Modell aktuelle Quellen zur Laufzeit mitzugeben: eine Websuche, eine Datenbank, ein Firmendokument. Dieses Verfahren heißt Retrieval Augmented Generation. Das Modell selbst bleibt alt, hat aber frisches Material vor der Nase.
Knowledge Decay im Alltag erkennen
Am deutlichsten zeigt sich das Problem bei Fragen nach dem aktuellen Stand. Frag ein Sprachmodell ohne Internetzugang nach dem neuesten iPhone oder dem aktuellen Bundeskanzler. Häufig bekommst du eine Antwort, die vor zwei Jahren korrekt war. Manche Systeme geben ihre Wissensgrenze offen an, andere schweigen darüber.
In Produktbeschreibungen und Fachartikeln taucht der Begriff oft zusammen mit Angaben zum Trainingsstand auf. Wenn ein Anbieter schreibt, sein Modell habe einen Wissensstand bis Oktober 2024, geht es genau um diese Frage. Auch der Hinweis, ein Chatbot könne im Netz suchen, ist eine direkte Antwort auf Knowledge Decay.
Ein verbreiteter Irrtum ist, Knowledge Decay sei dasselbe wie Halluzinieren. Beim Halluzinieren erfindet ein Modell etwas, das es nie gab. Beim Wissensverfall gibt es eine Information korrekt wieder, die früher stimmte. Praktisch heißt das für dich: Bei allem, was sich schnell ändert, lohnt ein kurzer Blick auf eine aktuelle Quelle.