Source Poisoning

Programme wie ChatGPT haben ihr Wissen nicht selbst erfunden. Sie haben riesige Mengen Text aus dem Internet gelesen: Webseiten, Foren, Nachrichtenartikel, Lexika. Manche dieser Programme durchsuchen zusätzlich während des Gesprächs live das Netz. Source Poisoning nutzt genau das aus. Jemand veröffentlicht absichtlich falsche Inhalte an Stellen, die von solchen Programmen gelesen werden. Das Ziel ist, dass die Falschinformation später als scheinbar sichere Antwort wieder herauskommt. Der Name bedeutet wörtlich « Vergiftung der Quelle ».

Warum vergiftete Quellen schwer zu entdecken sind

Wenn du eine dubiose Webseite selbst öffnest, siehst du oft schon am Aussehen, dass hier etwas nicht stimmt. Eine KI-Antwort verliert diesen Hinweis. Der Text kommt in ruhigem, sachlichem Ton, ohne Werbebanner und ohne Rechtschreibfehler. Dieselbe Behauptung wirkt dadurch plötzlich glaubwürdig. Genau diese Verpackung macht Source Poisoning wirksam.

Dazu kommt die Reichweite. Eine manipulierte Seite erreicht vielleicht ein paar hundert Menschen. Wird sie aber von einem verbreiteten KI-Assistenten übernommen, kann sie in Millionen Antworten auftauchen. Der Aufwand für den Angreifer bleibt gleich, die Wirkung vervielfacht sich. Fachleute nennen das einen Hebeleffekt.

Besonders unangenehm ist die Dauerhaftigkeit. Wenn eine Falschinformation im Trainingsmaterial eines Modells gelandet ist, steckt sie danach in dessen « Gedächtnis ». Man kann die Ursprungsseite löschen, das Modell weiß es trotzdem noch. Ein einfaches Nachbessern ist dann kaum möglich, weil niemand genau sagen kann, welcher Satz aus welcher Quelle stammt.

Der Weg von der falschen Webseite in die Antwort

Es gibt zwei Hauptwege. Beim ersten zielt der Angreifer auf das Training. Er stellt tausende Texte mit derselben Behauptung ins Netz, bevor ein neues Modell gebaut wird. Beim Sammeln der Daten werden diese Texte mit aufgenommen. Weil die Behauptung so oft vorkommt, hält das Modell sie für gesichertes Wissen.

Der zweite Weg zielt auf die Suche während des Gesprächs. Viele Assistenten holen sich bei aktuellen Fragen frische Treffer aus dem Internet und fassen sie zusammen. Dieses Verfahren heißt Retrieval, also « Abrufen ». Wer es schafft, dass seine Seite unter den ersten Treffern landet, liefert der KI direkt die Zutaten für ihre Antwort. Hier braucht man keine tausend Seiten, manchmal genügt eine gut platzierte.

Ein bekannter Trick sind Netzwerke aus Hunderten automatisch erzeugter Nachrichtenseiten. Sie sehen wie echte Lokalzeitungen aus und schreiben sich gegenseitig ab. Für einen Menschen ist das durchsichtig, für ein Sammelprogramm sieht es nach breiter Bestätigung aus. Abzugrenzen ist das von der Prompt Injection: dort versteckt jemand Befehle in einem Text, um das Verhalten der KI zu steuern. Source Poisoning verändert nicht die Anweisungen, sondern das Wissen.

Vergiftete Quellen in Politik, Medizin und Firmenwissen

Am meisten diskutiert wird der Fall Desinformation. Untersuchungen von Faktencheck-Organisationen haben mehrfach gezeigt, dass Chatbots politische Falschbehauptungen aus solchen Fake-Netzwerken wiederholen. Ähnlich anfällig sind Gesundheitsfragen, wo erfundene Studien zitiert werden. Auch Firmen sind betroffen: Wettbewerber oder Erpresser können gezielt Rufschädigung platzieren, damit die KI sie ausspuckt.

Ein zweiter Bereich ist Programmcode. KI-Assistenten schlagen beim Programmieren fertige Bausteine vor, die sie aus öffentlichen Sammlungen kennen. Angreifer veröffentlichen dort Bausteine mit Schadfunktion und passenden Namen. Wird ein solcher Vorschlag übernommen, gelangt der Schadcode in echte Software. Sicherheitsfirmen führen diesen Angriffsweg inzwischen in ihren Risikolisten.

Als Gegenmittel prüfen Anbieter die Herkunft ihrer Daten und bevorzugen Quellen mit gutem Ruf. Manche Systeme geben Links zu ihren Fundstellen an. Diese Links sind für dich der wichtigste Ansatzpunkt. Wenn eine Antwort eine überraschende Behauptung enthält, lohnt der Blick, wer die genannte Seite eigentlich betreibt.