Model Drift

Ein KI-Modell lernt aus Daten, die zu einem bestimmten Zeitpunkt gesammelt wurden. Die Welt bleibt danach aber nicht stehen. Kaufverhalten ändert sich, neue Wörter entstehen, Wirtschaftslagen kippen. Das Modell weiß davon nichts — es rechnet weiter nach alten Mustern. Dieser schleichende Qualitätsverlust heißt Model Drift. Der Begriff beschreibt also nicht einen Fehler im Modell selbst, sondern eine wachsende Lücke zwischen dem, was das Modell gelernt hat, und dem, wie die Realität heute aussieht.

Warum Model Drift Systeme unbrauchbar machen kann

Ein Modell, das im Stillen schlechter wird, ist gefährlicher als eines, das sofort offensichtlich versagt. Wenn ein System ausfällt, merkt es jeder sofort. Wenn es langsam danebentiegt, fällt es wochenlang niemandem auf. Bis dahin hat es vielleicht tausende falsche Empfehlungen gegeben, Kredite falsch bewertet oder Diagnosen verschoben.

Ein konkretes Beispiel: Während der Corona-Pandemie brach das Einkaufsverhalten von Millionen Menschen von einem Tag auf den anderen ein. Modelle, die auf Jahren von Kaufdaten trainiert waren, sagten plötzlich Dinge vorher, die nicht mehr stimmten. Supermärkte bestellten falsche Mengen, Empfehlungsalgorithmen zeigten irrelevante Produkte. Das war Model Drift im großen Maßstab, ausgelöst durch einen externen Schock.

Das Problem trifft besonders Bereiche, in denen Entscheidungen teuer oder folgenreich sind: Kreditvergabe, medizinische Diagnose, automatisierter Handel. Dort reicht ein kleiner, unentdeckter Drift aus, um erheblichen Schaden anzurichten.

Zwei Ursachen, ein Ergebnis

Fachleute unterscheiden zwei Hauptformen. Beim Data Drift verändern sich die Eingabedaten selbst. Beispiel: Ein Spamfilter wurde auf E-Mails aus dem Jahr 2018 trainiert. Spam-Versender benutzen heute andere Formulierungen und Tricks. Die Daten, die das Modell heute sieht, sehen anders aus als das, was es kennt. Beim Concept Drift verändert sich dagegen die Bedeutung hinter den Daten. Die Eingaben können gleich aussehen, aber was sie bedeuten, hat sich verschoben. Ein Kreditmodell, das « junger Berufseinsteiger » früher als geringes Risiko eingestuft hat, könnte in einer Rezession falsch liegen — ohne dass sich die Eingabedaten verändert haben.

In der Praxis treten beide Formen oft gleichzeitig auf und verstärken sich gegenseitig. Deshalb ist Model Drift schwer zu diagnostizieren: Man muss herausfinden, ob die Daten, die Zusammenhänge oder beides sich verändert haben.

Gegen Model Drift helfen vor allem zwei Maßnahmen. Erstens: kontinuierliches Monitoring, also das automatische Beobachten, ob die Vorhersagequalität des Modells stabil bleibt. Zweitens: regelmäßiges Nachtrainieren mit aktuellen Daten. Manche Systeme tun das wöchentlich, andere täglich. Wie oft nötig ist, hängt davon ab, wie schnell sich die jeweilige Domäne verändert.

Model Drift in Produkten und Schlagzeilen

Model Drift ist kein rein akademisches Problem. Wenn ein Streaming-Dienst plötzlich schlechte Filmempfehlungen macht, kann Model Drift eine Ursache sein: Das Nutzerverhalten hat sich verändert, das Modell hinkt hinterher. Wenn eine Bank ihr Kreditmodell nicht regelmäßig prüft, riskiert sie, dass es gegen aktuelle Gleichstellungsgesetze verstößt — weil gesellschaftliche Veränderungen im Modell schlicht nicht ankommen.

In der Finanzbranche ist das Thema besonders präsent. Regulatoren in der EU und den USA verlangen zunehmend, dass Unternehmen ihre KI-Modelle nicht nur einmalig prüfen, sondern dauerhaft überwachen. Der Begriff « Model Risk Management » ist in Banken deshalb eng mit Model Drift verknüpft.

Auch in der öffentlichen Debatte über KI taucht Model Drift auf, ohne immer beim Namen genannt zu werden. Wenn ein Sprachmodell auf « veraltete » Informationen hingewiesen wird oder eine KI eine Frage über aktuelle Ereignisse nicht beantworten kann, steckt dahinter eine verwandte Idee: Das Modell kennt die Welt nur bis zu einem bestimmten Datum — dem sogenannten Knowledge Cutoff. Das ist Model Drift in Zeitlupe, eingebaut.