AI Drift

Viele Computerprogramme lernen heute aus Beispielen statt aus festen Regeln. Man zeigt ihnen etwa eine Million alte Banküberweisungen und markiert, welche davon Betrug waren. Das Programm sucht sich daraus Muster und wendet sie auf neue Fälle an. Solche Muster stammen aber immer aus der Vergangenheit. Verändert sich die Wirklichkeit, passen sie irgendwann nicht mehr. Genau dieses langsame Schlechterwerden nennt man AI Drift.

Der stille Qualitätsverlust

Das Tückische an Drift ist, dass nichts kaputtgeht. Es gibt keine Fehlermeldung und keinen Absturz. Das System antwortet weiter, genauso schnell wie vorher, und klingt genauso überzeugt. Nur stimmen die Antworten immer seltener. Ohne gezielte Kontrolle fällt das oft erst nach Monaten auf.

Wie teuer das wird, hängt vom Einsatzgebiet ab. Bei einer Musikempfehlung ist ein schlechter Vorschlag ärgerlich, mehr nicht. Bei einer Betrugserkennung im Zahlungsverkehr rutschen echte Schäden durch. Bei einer medizinischen Auswertung oder einer Kreditvergabe kann Drift Menschen direkt benachteiligen. Deshalb verlangen Aufsichtsbehörden zunehmend, dass Betreiber ihre Systeme dauerhaft überwachen und nicht nur einmal beim Start prüfen.

Ein bekanntes Beispiel ist die Corona-Zeit. Modelle, die das Kaufverhalten im Einzelhandel vorhersagten, waren im Frühjahr 2020 praktisch wertlos. Sie kannten nur eine Welt ohne Lockdowns. Solche Brüche sind selten, aber sie zeigen das Prinzip besonders deutlich.

Wenn sich die Daten oder die Regeln ändern

Fachleute unterscheiden zwei Ursachen. Die erste heißt Data Drift: Die Eingaben sehen anders aus als früher. Ein Sprachassistent bekommt plötzlich Fragen zu Begriffen, die es beim Training noch nicht gab. Eine Kamera in einer Fabrik bekommt schlechteres Licht, weil jemand die Beleuchtung getauscht hat. Die Aufgabe ist dieselbe geblieben, nur das Material ist neu.

Die zweite Ursache heißt Concept Drift, also Konzeptdrift. Hier ändert sich der Zusammenhang selbst. Ein Merkmal, das früher zuverlässig auf Betrug hindeutete, ist heute völlig normal. Betrüger passen ihre Methoden an, sobald ein Abwehrsystem sie erkennt. Das Modell hat dann eine Regel gelernt, die in der Wirklichkeit nicht mehr gilt.

Gegen beides hilft nur Messen. Betreiber vergleichen laufend, wie die aktuellen Eingaben im Vergleich zu den Trainingsdaten verteilt sind. Zusätzlich prüfen sie an Stichproben, wie oft die Vorhersagen tatsächlich zutreffen. Wird der Abstand zu groß, trainiert man das Modell mit frischen Daten nach. Manche Systeme lernen automatisch weiter, was aber neue Risiken bringt: Lernt das Modell aus eigenen falschen Antworten, verstärkt es seine Fehler.

Drift in Produkten und in Schlagzeilen

Am häufigsten begegnet dir Drift, ohne dass jemand das Wort benutzt. Der Spamfilter lässt neue Maschen durch. Die Suche in einem Online-Shop schlägt Dinge vor, die niemand mehr sucht. Eine Übersetzungs-App kennt aktuelle Ausdrücke nicht. All das sind Symptome desselben Problems.

Bei großen Chatbots wird der Begriff oft falsch verwendet. Nutzer berichten, ein Modell sei über Wochen dümmer geworden. Die gespeicherten Werte im Modell ändern sich aber nicht von allein. Meist hat der Anbieter eine sparsamere Version eingesetzt oder die Vorgaben im Hintergrund umgeschrieben. Echte Drift entsteht dagegen ohne Zutun des Anbieters, allein durch die veränderte Umwelt.

In Finanznachrichten taucht Drift vor allem beim Thema Modellrisiko auf. Banken und Versicherer müssen dokumentieren, wie oft sie ihre Systeme überprüfen. Auch die KI-Verordnung der EU verlangt für risikoreiche Anwendungen eine Überwachung nach dem Marktstart. Ein Modell gilt damit nicht als fertiges Produkt, sondern als etwas, das laufend gepflegt werden muss.