Adversariales Beispiel
Ein adversariales Beispiel ist eine Eingabe, die für Menschen völlig normal aussieht, ein Computerprogramm zur Bilderkennung oder Textanalyse aber gezielt in die Irre führt. Schon winzige, kaum sichtbare Änderungen an einem Foto können dazu führen, dass das Programm etwas völlig anderes erkennt.
Programme, die Bilder oder Texte automatisch einordnen, lernen ihre Aufgabe aus vielen Beispielen. Ein solches Programm kann etwa auf Fotos zuverlässig Katzen von Hunden unterscheiden. Ein adversariales Beispiel ist eine Eingabe, die absichtlich so verändert wurde, dass genau dieses Programm eine falsche Antwort gibt. Das Besondere daran: Für einen Menschen sieht die Eingabe unverändert aus. Man verschiebt die Farbwerte einzelner Bildpunkte nur um winzige Beträge, verteilt über das ganze Bild. Das Ergebnis wirkt wie ein normales Katzenfoto, wird von der Software aber plötzlich als Lastwagen eingestuft — oft sogar mit hoher angegebener Sicherheit.
Was das für Autos, Kameras und Filter bedeutet
Solche Programme treffen inzwischen Entscheidungen, die reale Folgen haben. Ein Fahrassistent liest Verkehrsschilder, eine Kamera erkennt Gesichter, ein Filter sortiert Spam und Gewaltinhalte aus. Wenn sich diese Systeme mit unauffälligen Tricks täuschen lassen, ist das keine Kuriosität, sondern eine Sicherheitslücke.
Forscher haben gezeigt, dass ein paar aufgeklebte Aufkleber auf einem Stoppschild reichen können, damit eine Bilderkennung es als Tempolimit liest. Andere Gruppen haben Brillengestelle mit ungewöhnlichen Mustern gebaut, mit denen eine Gesichtserkennung die falsche Person identifiziert. Der Angriff findet also nicht nur in der Bilddatei statt, sondern kann in der echten Welt aufgebaut werden.
Beunruhigend ist außerdem, dass die Systeme ihre Fehler nicht bemerken. Ein Mensch, der unsicher ist, zögert oder fragt nach. Ein getäuschtes Modell gibt seine falsche Antwort mit derselben Selbstverständlichkeit aus wie eine richtige. Deshalb reicht es nicht, sich auf die Sicherheitswerte zu verlassen, die ein Modell selbst angibt.
Wie ein Angreifer die Störung berechnet
Ein Bilderkennungsprogramm ist im Kern eine sehr große Rechenformel mit Millionen einstellbarer Zahlen. Beim Training wird laufend gemessen, wie stark die Ausgabe danebenliegt, und die Zahlen werden in die Richtung nachjustiert, die den Fehler verkleinert. Genau diese Rechnung kann ein Angreifer umdrehen. Er lässt die Programmzahlen unverändert und verändert stattdessen das Bild — und zwar in die Richtung, die den Fehler möglichst groß macht.
Das Ergebnis ist ein Störmuster, das über das gesamte Bild verteilt wird. Jeder einzelne Bildpunkt ändert sich nur minimal, oft um weniger als ein Prozent seiner Helligkeit. In der Summe kippt die Entscheidung des Programms trotzdem. Man kann sich das wie ein Rauschen vorstellen, das exakt auf die Schwachstellen eines bestimmten Modells zugeschnitten ist.
Ein verbreiteter Irrtum ist, dass ein Angreifer dafür Zugriff auf das Innenleben des Modells braucht. Häufig genügt es, ein eigenes Modell mit ähnlichen Daten zu bauen und den Angriff daran zu entwickeln. Solche Störungen wirken oft auch gegen fremde Systeme, die man nie gesehen hat. Als Gegenmaßnahme trainiert man Modelle heute gezielt mit adversarialen Beispielen mit. Das macht sie robuster, kostet aber Rechenzeit und meist etwas Genauigkeit bei normalen Eingaben.
Von Prompt Injection bis zur EU-Regulierung
Das Prinzip beschränkt sich längst nicht auf Bilder. Bei Textmodellen wie Chatbots gibt es das verwandte Problem der Prompt Injection: Jemand versteckt in einer Webseite oder einer Mail eine Anweisung, die das Modell ausführt, obwohl der Nutzer sie nie gegeben hat. Auch hier wird eine Eingabe so gestaltet, dass das System sich anders verhält als beabsichtigt.
In der Berichterstattung tauchen adversariale Beispiele meist auf, wenn eine Forschungsgruppe ein bekanntes Produkt vorführt. Typische Schlagzeilen handeln von Kleidung, die eine Überwachungskamera überlistet, oder von Bildern, die einen Inhaltsfilter passieren. Große KI-Anbieter beschäftigen eigene Teams, sogenannte Red Teams, die ihre Systeme vor dem Start systematisch mit solchen Angriffen testen.
Auch die Gesetzgebung greift das Thema auf. Die KI-Verordnung der Europäischen Union verlangt für Systeme in kritischen Bereichen ausdrücklich Widerstandsfähigkeit gegen Manipulationsversuche. Wer Bilderkennung in einem Auto oder in der Medizin einsetzt, muss also nachweisen, dass er sich mit dieser Angriffsart befasst hat.