Adversariales Training

Computerprogramme, die aus Beispielen lernen, lassen sich überraschend leicht austricksen. Ein Bilderkennungsprogramm erkennt ein Stoppschild zuverlässig. Klebt jemand ein paar unauffällige Aufkleber darauf, hält das Programm es plötzlich für ein Tempolimit. Für einen Menschen sieht das Schild dabei völlig normal aus. Solche gezielt präparierten Eingaben nennt man feindselige oder adversariale Beispiele. Adversariales Training ist die Gegenmaßnahme: Man erzeugt solche Täuschungen absichtlich selbst und lässt das Programm sie beim Lernen mitüben.

Warum ein getäuschtes Modell gefährlich wird

Solange KI-Systeme nur Urlaubsfotos sortieren, sind Fehler ärgerlich, aber harmlos. Inzwischen entscheiden sie über Kreditanträge, steuern Assistenzsysteme im Auto und filtern Betrugsversuche bei Banken. Überall dort gibt es Menschen, die ein Interesse daran haben, das System bewusst in die Irre zu führen. Ein Betrüger, der weiß, wie er einen Filter austrickst, kann diesen Trick beliebig oft wiederholen.

Besonders unangenehm ist die Unauffälligkeit dieser Angriffe. Die Veränderungen an einem Bild sind oft so klein, dass kein Mensch sie bemerkt. Trotzdem kippt die Entscheidung des Modells komplett. Ein System kann also in Tests hervorragend abschneiden und in der Praxis trotzdem systematisch versagen. Genau diese Lücke soll adversariales Training schließen.

Bei Sprachmodellen, also Programmen wie Chatbots, geht es um eine verwandte Frage. Nutzer versuchen mit geschickt formulierten Anweisungen, Schutzregeln auszuhebeln. Auch hier trainieren Anbieter ihre Modelle mit genau solchen Angriffsversuchen nach, damit sie diese erkennen und ablehnen.

Der Wettlauf zwischen Angreifer und Modell

Der Ablauf ist ein ständiger Kreislauf. Zuerst sucht ein Suchverfahren die kleinstmögliche Änderung an einem Trainingsbeispiel, die das Modell zum Fehler bringt. Dieses veränderte Beispiel wird dem Trainingsmaterial hinzugefügt, aber mit der richtigen Antwort versehen. Das Modell lernt daraus und wird gegen diese Art von Täuschung unempfindlich. Danach beginnt die Suche von vorn, denn nun funktionieren andere Tricks.

Man kann sich das wie ein Sparring im Boxtraining vorstellen. Der Trainingspartner greift genau die Deckungslücken an, die der Boxer noch hat. Schließt der Boxer eine Lücke, sucht der Partner die nächste. Beide werden dadurch besser. Ein Wettkampf gegen einen völlig unbekannten Gegner bleibt trotzdem riskant.

Der Preis dafür ist hoch. Das Erzeugen der Angriffsbeispiele kostet zusätzliche Rechenzeit, oft ein Vielfaches des normalen Trainings. Außerdem gibt es einen bekannten Zielkonflikt: Robuste Modelle sind bei ganz normalen, sauberen Eingaben häufig etwas ungenauer als ihre empfindlichen Gegenstücke. Ein verbreiteter Irrtum ist auch, adversariales Training mache ein Modell sicher. Es schützt zuverlässig gegen die Angriffsarten, die man beim Training verwendet hat, und deutlich schlechter gegen neue.

Vom Forschungspapier in echte Produkte

In Nachrichten taucht der Begriff meist auf, wenn ein Anbieter ein neues Sprachmodell veröffentlicht. In den Begleitdokumenten steht dann, dass sogenannte Red Teams das Modell angegriffen haben. Red Team heißt hier: eine Gruppe, die bezahlt wird, um das System zu knacken. Die gefundenen Schwachstellen fließen anschließend ins Nachtraining ein.

Auch in der Bildverarbeitung ist das Verfahren Standard. Hersteller von Fahrerassistenzsystemen und Anbieter von Gesichtserkennung müssen nachweisen, dass ihre Software nicht durch simple Manipulationen aushebelbar ist. Regulierungsvorgaben wie die europäische KI-Verordnung verlangen für riskante Anwendungen ausdrücklich Robustheit gegen Angriffe.

Abzugrenzen ist der Begriff von zwei ähnlich klingenden Dingen. Datenaugmentation verändert Trainingsbilder ebenfalls, aber zufällig, etwa durch Drehen oder Aufhellen. Generative Adversarial Networks, kurz GANs, lassen zwei Netze gegeneinander antreten, um neue Bilder zu erzeugen. Beide nutzen verwandte Ideen, verfolgen aber ein anderes Ziel als adversariales Training.