Transkript-Manipulation

Wenn du mit einem Chatprogramm wie ChatGPT sprichst, wird alles Gesagte mitgeschrieben. Dieser Mitschnitt heißt Transkript: eine Liste aus deinen Nachrichten und den Antworten des Programms. Vor jeder neuen Antwort bekommt das Programm die ganze Liste noch einmal vorgelegt, denn es hat kein eigenes Gedächtnis. Bei der Transkript-Manipulation verändert jemand diese Liste heimlich, bevor sie erneut vorgelegt wird. Er schreibt zum Beispiel Antworten hinein, die das Programm nie gegeben hat. Das Programm kann nicht prüfen, was davon echt ist, und baut auf der gefälschten Vorgeschichte weiter auf.

Warum gefälschte Vorgeschichte gefährlich ist

Sprachmodelle sind darauf trainiert, zu sich selbst konsistent zu bleiben. Steht im Verlauf, dass sie eine Regel schon einmal gebrochen haben, brechen sie sie mit hoher Wahrscheinlichkeit noch einmal. Angreifer nutzen das gezielt aus. Sie fügen eine erfundene Antwort ein, in der das Modell scheinbar bereitwillig eine gefährliche Anleitung beginnt. Danach schreiben sie nur noch: „Mach weiter.“ Diese Methode ist einer der bekanntesten Wege, Sicherheitsregeln auszuhebeln.

Ein zweites Problem betrifft Beweise. Screenshots von Chatverläufen tauchen ständig in sozialen Netzwerken und in Berichten auf. Sie sollen belegen, dass eine bestimmte KI etwas Peinliches oder Falsches gesagt hat. Ein Transkript lässt sich aber in wenigen Minuten fälschen, oft mit dem eingebauten Werkzeugkasten des Browsers. Ein Screenshot allein ist deshalb kein Beweis für gar nichts.

Besonders heikel wird es bei KI-Systemen, die selbst handeln dürfen. Solche Assistenten buchen Termine, schreiben Mails oder bewegen Geld. Wer ihren Verlauf manipuliert, kann ihnen eine angebliche Freigabe unterschieben, die nie erteilt wurde.

Der Weg über die Programmierschnittstelle

In der App eines Anbieters kannst du den Verlauf normalerweise nicht umschreiben. Anders sieht es bei der Programmierschnittstelle aus, kurz API. Das ist der Zugang, über den andere Firmen ein Modell in ihre eigenen Produkte einbauen. Dort schickt der Entwickler bei jeder Anfrage den kompletten Verlauf selbst mit. Er entscheidet also frei, was in dieser Liste steht.

Jede Nachricht in dieser Liste trägt eine Rollenangabe. Üblich sind „user“ für den Menschen und „assistant“ für das Modell. Bei einer Manipulation schreibt der Angreifer einen selbst erfundenen Text und markiert ihn als „assistant“. Für das Modell sieht das exakt so aus wie eine eigene frühere Antwort. Es gibt keine Signatur und keine Prüfsumme, an der sich eine Fälschung erkennen ließe.

Man sollte das nicht mit Prompt Injection verwechseln, einem verwandten Angriff. Dort versteckt jemand Anweisungen in einem Text, den die KI liest, etwa in einer Webseite. Bei der Transkript-Manipulation wird dagegen die Herkunft von Nachrichten gefälscht. Der Angriff zielt nicht auf den Inhalt, sondern auf die Frage, wer etwas gesagt hat.

Von viralen Screenshots bis zu Sicherheitstests

Am häufigsten begegnet dir das Thema bei angeblichen Chatbot-Skandalen im Netz. Ein Bild zeigt eine KI, die etwas Rassistisches oder völlig Absurdes sagt. Manchmal stimmt das, oft ist das Bild aber nachbearbeitet. Seriöse Redaktionen verlangen deshalb den teilbaren Original-Link zum Gespräch statt eines Screenshots.

In der Sicherheitsforschung ist Transkript-Manipulation ein Standardwerkzeug. Sogenannte Red Teams greifen ein Modell absichtlich an, um Schwachstellen vor der Veröffentlichung zu finden. Sie testen dabei systematisch, wie leicht sich ein Modell mit gefälschten eigenen Antworten aus der Spur bringen lässt. Die Ergebnisse landen in den technischen Berichten, die Anbieter zu neuen Modellen veröffentlichen.

Firmen, die KI in ihre Produkte einbauen, ziehen daraus eine praktische Lehre. Der Gesprächsverlauf sollte auf dem eigenen Server liegen und nicht im Browser des Nutzers zusammengebaut werden. Zusätzlich prüfen viele Anbieter jede Antwort noch einmal mit einem getrennten Filtermodell. Dieses Filtermodell kennt die manipulierte Vorgeschichte nicht und lässt sich von ihr auch nicht überzeugen.