Prompt-Injection-Exfiltration

Viele KI-Assistenten arbeiten heute nicht nur mit dem, was ein Nutzer tippt. Sie lesen zusätzlich E-Mails, Webseiten, Kalendereinträge oder Dateien. Genau das macht sie angreifbar. Ein Angreifer kann in eine solche Quelle heimlich Anweisungen schreiben, etwa in weißer Schrift auf weißem Grund. Das Programm unterscheidet schlecht zwischen dem Auftrag des Nutzers und dem Text, den es gerade liest. Wenn die versteckten Anweisungen lauten, vertrauliche Inhalte an eine fremde Adresse zu schicken, führt das Programm sie eventuell aus. Dieses gezielte Herausschmuggeln von Daten nennt man Exfiltration.

Warum ein einzelner Kommentar eine Firma kosten kann

Der Schaden entsteht, weil der Angreifer nichts hacken muss. Er braucht keinen Zugang zum System und kein Passwort. Es genügt, dass sein Text irgendwann von einem Assistenten gelesen wird. Ein Kommentar unter einem Blogartikel reicht theoretisch aus. Der Assistent selbst ist dann das Werkzeug des Angriffs.

Besonders gefährlich sind Assistenten mit vielen Rechten. Ein Programm, das dein Postfach durchsuchen und gleichzeitig Mails senden darf, kann beides kombinieren. Es sucht deine Zugangsdaten und verschickt sie. Firmen setzen solche Assistenten gerade massenhaft ein, oft mit Zugriff auf Personalakten, Verträge oder Quellcode. Sicherheitsforscher zählen Prompt Injection deshalb zu den größten offenen Problemen bei KI-Anwendungen.

Ein verbreiteter Irrtum lautet, ein Filter für böse Wörter löse das Problem. Das funktioniert nicht zuverlässig. Anweisungen lassen sich umschreiben, übersetzen oder in Codeschnipsel verstecken. Der Angriff nutzt keine Sicherheitslücke im klassischen Sinn, sondern die Arbeitsweise der Sprachmodelle selbst.

Der Weg der Daten nach draußen

Ein Angriff läuft typischerweise in drei Schritten ab. Erstens platziert der Angreifer seine Anweisung in einer Quelle, die der Assistent später liest. Zweitens vermischt der Assistent diese Quelle mit dem eigentlichen Auftrag des Nutzers. Drittens braucht der Angreifer einen Kanal, über den die Daten abfließen können.

Dieser Kanal ist oft überraschend unscheinbar. Ein beliebter Trick ist ein Bild. Der Assistent zeigt in seiner Antwort ein Bild an, dessen Adresse auf einen Server des Angreifers zeigt. Die geheimen Daten stehen dabei hinten in der Adresse, angehängt als Zeichenkette. Sobald die Antwort im Browser erscheint, ruft dieser das Bild ab. Damit landen die Daten im Serverprotokoll des Angreifers, ohne dass der Nutzer etwas Auffälliges sieht.

Andere Kanäle sind Links zum Anklicken, automatisch gesendete Mails oder Einträge in gemeinsam genutzten Dokumenten. Zum Vergleich: Beim einfachen Jailbreak versucht jemand nur, die Regeln des Modells zu umgehen, meist bei sich selbst. Bei der Exfiltration ist ein fremdes Opfer betroffen, und es fließen echte Daten ab. Gegenmaßnahmen setzen deshalb an den Rechten an. Man erlaubt nur Verbindungen zu geprüften Adressen und verlangt eine Bestätigung des Nutzers, bevor der Assistent etwas nach außen sendet.

Betroffene Produkte und Meldungen dazu

Der Begriff tauchte zuerst in Fachblogs von Sicherheitsforschern auf, heute steht er regelmäßig in Tech-News. Betroffen waren unter anderem Chatbots mit Internetzugriff, KI-Funktionen in Büroprogrammen und Assistenten für Programmierer. Meist melden unabhängige Forscher die Lücke, der Hersteller baut daraufhin Einschränkungen ein. Danach findet jemand einen neuen Weg, und der Zyklus beginnt erneut.

Für Anleger und Beobachter ist das Thema relevant, weil es die Einführung von KI in Unternehmen bremst. Datenschutzbehörden fragen genau nach solchen Risiken. Wer selbst einen Assistenten nutzt, sollte wissen: Alles, was das Programm liest, kann sein Verhalten beeinflussen. Deshalb ist Vorsicht angebracht, wenn man einem Assistenten mit Zugriff auf eigene Daten fremde Dokumente oder Links vorlegt.