Red Teaming

Red Teaming ist ein Test, bei dem eine Gruppe von Menschen absichtlich versucht, ein System zu Fehlern zu bringen. Sie schlüpfen in die Rolle von Angreifern und suchen nach jeder Lücke, die sie finden können. Der Begriff kommt aus dem Militär: Dort spielte das “rote Team” im Manöver den Gegner, das “blaue Team” die Verteidigung. Später übernahm ihn die Computersicherheit, heute nutzt ihn vor allem die KI-Branche. Bei Sprachmodellen, also Programmen, die auf Fragen mit Text antworten, versucht das Team gezielt, dem Programm Antworten zu entlocken, die es eigentlich verweigern soll. Gefunden wird dabei nicht ein technischer Defekt, sondern ein Verhalten, das die Entwickler nicht wollten.

Warum Hersteller lieber selbst angreifen

Ein KI-Modell wird nicht Zeile für Zeile programmiert. Es lernt aus riesigen Textmengen und entwickelt dabei Verhalten, das niemand vorher geplant hat. Deshalb kann man auch nicht in den Code schauen und prüfen, ob es sich benimmt. Man muss es ausprobieren. Und weil ein Modell auf unendlich viele Formulierungen unterschiedlich reagiert, reichen ein paar Stichproben nicht.

Der zweite Grund ist die Reihenfolge. Findet das eigene Team eine Schwachstelle, kostet das Arbeitszeit. Findet sie ein Nutzer nach dem Start, steht sie am nächsten Tag in den sozialen Netzwerken. Große Anbieter lassen ihre Modelle deshalb monatelang vor der Veröffentlichung angreifen. Bei besonders leistungsfähigen Modellen prüfen zusätzlich externe Fachleute, etwa Chemiker oder Sicherheitsforscher, ob sich gefährliches Wissen abfragen lässt.

Inzwischen ist Red Teaming auch eine Frage der Regulierung. Der KI-Rechtsrahmen der EU und Vereinbarungen mit Regierungen verlangen von Anbietern großer Modelle, dass sie Risiken systematisch testen und dokumentieren. Ein Bericht über durchgeführte Angriffstests gehört damit zum Papierkram vor dem Marktstart.

Die Tricks der Angreifer

Der bekannteste Ansatz ist die Umgehung der Regeln durch eine erfundene Rahmengeschichte. Eine direkte Frage nach einer Anleitung für etwas Verbotenes wird abgelehnt. Verpackt man dieselbe Frage als Romanszene, als Aufgabe für den Chemieunterricht oder als Bitte an eine “Version ohne Einschränkungen”, antwortet das Modell manchmal doch. Solche Versuche nennt man Jailbreaks, nach dem englischen Wort für Gefängnisausbruch.

Weitere Angriffe setzen woanders an. Man kann eine Anweisung in einer fremden Sprache oder in seltsamer Schreibweise verstecken, weil die Schutzmechanismen dort schwächer trainiert sind. Man kann harmlose Teilfragen stellen, deren Antworten zusammen die verbotene Information ergeben. Oder man schreibt einen Befehl in eine Webseite, die die KI später liest, und das Programm hält ihn für eine Nutzeranfrage. Dieser letzte Fall heißt Prompt Injection und betrifft besonders KI-Systeme, die selbstständig im Internet recherchieren.

Jeder gefundene Treffer wird protokolliert. Aus den Fällen entstehen Trainingsbeispiele, mit denen das Modell nachlernt, solche Anfragen abzulehnen. Zusätzlich laufen die Angriffe heute oft automatisch: Ein zweites Programm erzeugt tausende Angriffsvarianten und probiert sie durch. Das ersetzt die Menschen nicht, denn wirklich neue Ideen kommen meist von ihnen.

Red Teaming in Produktmeldungen und Modellberichten

Wenn ein Unternehmen ein neues Sprachmodell vorstellt, erscheint dazu meist ein technischer Bericht. Darin steht ein Abschnitt über Sicherheit, in dem Red Teaming ausdrücklich erwähnt wird: wie viele Fachleute beteiligt waren, welche Risikofelder geprüft wurden, welche Schwächen bleiben. Wer Meldungen über neue KI-Modelle liest, stößt fast zwangsläufig darauf.

Auch als Beruf existiert das Feld. Firmen schreiben Stellen für Red Teamer aus, und es gibt Anbieter, die solche Tests als Dienstleistung verkaufen. Manche Unternehmen zahlen zusätzlich Belohnungen, wenn Außenstehende eine Lücke melden. Verwandt, aber nicht dasselbe ist die Aufgabe von Prüfstellen, die Modelle nach festen Kriterien bewerten. Red Teaming ist offen und kreativ, ein Test nach Prüfliste ist es nicht.

Ein häufiger Irrtum: Red Teaming macht ein Modell nicht sicher, sondern nur weniger leicht angreifbar. Neue Umgehungen tauchen nach jeder Veröffentlichung wieder auf, oft innerhalb von Tagen. Der Test ist deshalb kein Abschluss, sondern ein Vorgang, der über die ganze Lebensdauer eines Modells weiterläuft.