Verhaltensdrift

Programme, die aus Beispieldaten lernen, verhalten sich nicht für immer gleich. Man stellt heute dieselbe Frage wie vor einem halben Jahr und bekommt eine merklich andere Antwort. Genau diese schleichende Veränderung nennt man Verhaltensdrift. Sie kann daran liegen, dass der Anbieter das Programm überarbeitet hat. Sie kann aber auch daran liegen, dass sich die Welt verändert hat, während das Programm gleich geblieben ist. Wichtig ist: Es geht nicht um einen Fehler, der plötzlich auftritt, sondern um eine langsame Verschiebung, die oft niemandem sofort auffällt.

Wenn ein Werkzeug seine Antworten still verändert

Wer ein Werkzeug benutzt, geht davon aus, dass es sich verlässlich verhält. Ein Taschenrechner rechnet heute wie vor zehn Jahren. Bei lernenden Systemen gilt das nicht. Firmen bauen ihre Abläufe aber trotzdem darauf auf, etwa beim Sortieren von Bewerbungen, beim Prüfen von Rechnungen oder beim Beantworten von Kundenanfragen. Wenn sich das Verhalten verschiebt, verschieben sich diese Abläufe mit.

Besonders unangenehm ist, dass Drift meist unauffällig beginnt. Das System stürzt nicht ab und meldet keinen Fehler. Es liefert weiterhin Antworten, die plausibel aussehen, aber im Detail schlechter passen. Eine Bank merkt vielleicht erst nach Monaten, dass ihr Betrugsfilter neue Maschen nicht mehr erkennt. Bis dahin ist bereits Schaden entstanden.

Für Unternehmen ist Verhaltensdrift deshalb auch ein rechtliches Thema. Wer eine Prüfung bestanden hat, muss zeigen können, dass das geprüfte System noch dasselbe tut wie damals. Genau das ist bei einem sich verändernden Modell schwer nachzuweisen.

Woher die Verschiebung kommt

Es gibt zwei Hauptursachen, und sie sind sehr verschieden. Die erste liegt beim Anbieter: Er trainiert das Modell nach, baut Sicherheitsregeln ein oder tauscht es gegen eine neue Version. Nutzer bemerken davon oft nichts, weil der Name des Dienstes gleich bleibt. Trotzdem antwortet dahinter ein anderes System.

Die zweite Ursache liegt in den Daten. Ein Modell hat aus der Vergangenheit gelernt, doch die Gegenwart entwickelt sich weiter. Sprache verändert sich, Preise steigen, neue Produkte kommen auf den Markt. Das Modell bleibt gleich, aber die Wirklichkeit entfernt sich von seinen Lerndaten. Fachleute unterscheiden hier zwischen Datendrift, also veränderten Eingaben, und Konzeptdrift, bei der sich der eigentliche Zusammenhang ändert.

Ein Vergleich hilft: Eine Landkarte von 2015 ist nicht falsch gedruckt. Sie zeigt nur eine Stadt, die es so nicht mehr gibt. Man entdeckt das Problem erst, wenn man an einer Kreuzung steht, die auf der Karte fehlt. Deshalb messen Betreiber regelmäßig nach. Sie schicken feste Testfragen durch das System und vergleichen die Antworten mit früheren Ergebnissen. Weichen sie zu stark ab, schlägt eine Überwachung Alarm.

Drift in Chatbots, Filtern und Börsenmeldungen

Am bekanntesten ist der Effekt bei Chatbots. Nutzer berichten immer wieder, dass ein Assistent Aufgaben, die er im Frühjahr sauber gelöst hat, im Herbst nicht mehr schafft. Manchmal wird er auch vorsichtiger und verweigert harmlose Anfragen. Beides sind Formen von Verhaltensdrift, ausgelöst durch Anpassungen im Hintergrund.

Auch außerhalb von Chatbots taucht der Begriff auf. Spamfilter, Empfehlungssysteme in Streamingdiensten und Kreditbewertungen bei Banken beruhen alle auf gelernten Mustern. Diese Muster veralten. In Finanznachrichten liest man den Begriff daher oft im Zusammenhang mit Risikomodellen, die in einer neuen Marktlage schlechter funktionieren als in der alten.

Ein häufiger Irrtum ist, Verhaltensdrift mit einem Bug gleichzusetzen. Ein Bug ist ein Programmierfehler, den man finden und reparieren kann. Drift dagegen ist eine Eigenschaft lernender Systeme und lässt sich nicht endgültig abstellen. Man kann sie nur beobachten, messen und durch regelmäßiges Nachtrainieren in Grenzen halten. Wer ein solches System produktiv einsetzt, plant diese Wartung von Anfang an ein.