Data Poisoning

Computerprogramme, die man KI nennt, lernen aus Beispielen. Man zeigt ihnen Millionen Texte oder Bilder, und sie leiten daraus Muster ab. Diese Sammlung von Beispielen heißt Trainingsdaten. Data Poisoning bedeutet, dass jemand solche Beispiele absichtlich verfälscht, bevor das Programm sie sieht. Der Angreifer greift also nicht das fertige Programm an, sondern seinen Lernstoff. Das Ergebnis: Das Programm lernt etwas Falsches – und niemand merkt es sofort. Der deutsche Begriff dafür ist Datenvergiftung.

Warum das wichtig ist

Große Sprachmodelle werden zu einem erheblichen Teil mit Texten aus dem offenen Internet trainiert. Jeder kann dort schreiben. Damit kann prinzipiell jeder mitbestimmen, was ein Modell lernt. Das macht Trainingsdaten zu einer Schwachstelle, die klassische Sicherheitstechnik nicht abdeckt. Eine Firewall hilft nicht gegen einen Wikipedia-Eintrag mit erfundenen Zahlen.

Besonders unangenehm ist die Nachträglichkeit. Ein vergiftetes Modell lässt sich nicht einfach reparieren. Meist muss man das Training wiederholen, und das kostet Millionen. Deshalb behandeln Aufsichtsbehörden Data Poisoning inzwischen als ernstes Risiko. Der EU-Rechtsrahmen für KI verlangt von Anbietern, die Herkunft ihrer Daten zu prüfen.

Wie es funktioniert

Man unterscheidet zwei Grundformen. Bei der ersten will der Angreifer das Modell allgemein verschlechtern. Er streut in großer Menge Unsinn ein, bis die Qualität sinkt. Das ist plump und fällt oft auf.

Die zweite Form ist gezielter und gefährlicher. Der Angreifer baut eine Hintertür ein, im Fachjargon Backdoor. Dazu verknüpft er ein unauffälliges Signal mit einem gewünschten Verhalten. Ein Beispiel: In hundert Trainingsbildern klebt ein kleiner gelber Aufkleber auf einem Stoppschild, und alle sind als « Tempo 80 » beschriftet. Das Modell lernt die Regel: gelber Aufkleber bedeutet Tempo 80. Bei allen normalen Tests verhält es sich einwandfrei. Erst wenn der Angreifer den Aufkleber anbringt, schlägt die Falle zu.

Erstaunlich ist, wie wenig dafür nötig ist. Untersuchungen von KI-Firmen deuten darauf hin, dass wenige hundert manipulierte Dokumente ausreichen können. Und zwar unabhängig davon, wie groß das Modell insgesamt ist. Ein größeres Modell ist also nicht automatisch besser geschützt.

Ein verwandter Fall betrifft Systeme, die während des Betriebs Dokumente nachladen, etwa aus einer Firmendatenbank. Wer dort ein manipuliertes Dokument einschmuggelt, verändert die Antworten sofort. Das Modell selbst bleibt dabei unangetastet.

Wo man dem Begriff begegnet

In den Nachrichten tauchen zwei Seiten der Sache auf. Zum einen Sicherheitsmeldungen: Forscher zeigen regelmäßig, dass abgelaufene Internetadressen aufgekauft werden können, die in bekannten Datensätzen verlinkt sind. Wer die Adresse besitzt, bestimmt den Inhalt.

Zum anderen wird dieselbe Technik als Schutzmaßnahme eingesetzt. Werkzeuge wie Nightshade verändern Bilder von Künstlern minimal. Für das menschliche Auge bleibt alles gleich, für ein Modell wird das Bild irreführend. Wer die Werke ohne Erlaubnis zum Training nutzt, beschädigt damit sein eigenes Produkt. Angriff und Selbstverteidigung sind hier technisch dasselbe.

Für Anleger ist der Begriff relevant, weil Datenqualität zu einem Wettbewerbsfaktor geworden ist. Anbieter werben inzwischen mit geprüften und lizenzierten Datenquellen statt mit reinen Internetsammlungen. Sauberer Lernstoff ist teuer – aber schwer zu vergiften.