Sicherheitsklassifikator

Ein Sicherheitsklassifikator ist ein Programm, das Inhalte sortiert. Es bekommt einen Text oder ein Bild und gibt eine Einschätzung zurück: harmlos oder problematisch. Oft nennt es dazu auch eine Kategorie, etwa Gewalt, Hass oder Anleitungen zu Waffen. Solche Programme laufen bei Chatprogrammen im Hintergrund mit, ohne dass Nutzer sie sehen. Sie prüfen, was der Nutzer eingibt, und oft auch, was das System antwortet. Man kann sie sich als Pförtner vorstellen, der an zwei Türen steht: einmal am Eingang, einmal am Ausgang.

Der zweite Verteidigungsring hinter dem Modell

Große Sprachmodelle lernen aus riesigen Textmengen und werden danach darauf getrimmt, gefährliche Bitten abzulehnen. Dieses Training ist aber nie perfekt. Findige Nutzer umgehen es mit Tricks, indem sie ihre Bitte zum Beispiel als Rollenspiel oder als Übersetzungsaufgabe verkleiden. Solche Tricks heißen in der Branche Jailbreaks. Ein separater Klassifikator kann greifen, wenn das Modell selbst schon getäuscht wurde.

Für die Anbieter ist das auch eine rechtliche und wirtschaftliche Frage. Wenn ein Chatbot einem Jugendlichen gefährliche Ratschläge gibt, drohen Schlagzeilen, Klagen und Ärger mit Behörden. Der EU-Gesetzgeber verlangt in der KI-Verordnung von Anbietern, dass sie Risiken aktiv verringern. Klassifikatoren sind ein sichtbarer Nachweis dafür, dass etwas getan wurde. Deshalb tauchen sie in Sicherheitsberichten von Firmen wie OpenAI, Anthropic oder Google regelmäßig auf.

Wichtig ist der Unterschied zum eigentlichen Modell. Das Modell soll gute Antworten geben. Der Klassifikator soll nur beurteilen, ob etwas erlaubt ist. Diese Trennung erlaubt es, Regeln schnell zu ändern, ohne das große Modell neu zu trainieren.

Vom Beispielkatalog zur Schwelle

Ein Klassifikator wird mit Beispielen trainiert. Menschen sammeln tausende Texte und markieren jeden davon als erlaubt oder als Verstoß gegen eine bestimmte Regel. Das Programm sucht in diesen Beispielen nach Mustern. Danach kann es auch neue, nie gesehene Texte einschätzen. Meist ist es viel kleiner als das eigentliche Sprachmodell, damit es schnell und billig läuft.

Das Ergebnis ist keine simple Ja-oder-Nein-Antwort, sondern eine Zahl zwischen 0 und 1. Sie drückt aus, wie sicher sich das Programm ist. Die Betreiber legen dann eine Schwelle fest, ab der geblockt wird. Eine niedrige Schwelle blockt viel, auch Harmloses. Eine hohe Schwelle lässt mehr durch, auch Gefährliches. Diese Einstellung ist eine Abwägung, keine technische Wahrheit.

Genau daraus entstehen die typischen Fehler. Ein falsch positives Ergebnis liegt vor, wenn eine harmlose Frage geblockt wird, etwa die Frage einer Krankenpflegerin nach Medikamentendosen. Ein falsch negatives Ergebnis ist der umgekehrte Fall: Gefährliches rutscht durch. Beides lässt sich nicht gleichzeitig auf null drücken. Moderne Systeme kombinieren deshalb mehrere Klassifikatoren und lassen in Zweifelsfällen Menschen nachprüfen.

Wo diese Filter im Alltag greifen

Am häufigsten trifft man sie in Chatbots. Wenn eine Antwort mitten im Satz abbricht oder durch einen Standardhinweis ersetzt wird, hat oft ein Klassifikator eingegriffen. Auch Bildgeneratoren prüfen jede Anfrage und jedes fertige Bild. Deshalb verweigern sie manchmal Motive, die eigentlich unverdächtig wirken.

Der gleiche Ansatz steckt hinter der Inhaltsmoderation bei sozialen Netzwerken. Instagram, TikTok und YouTube lassen automatisch Millionen Beiträge einschätzen, bevor ein Mensch sie überhaupt sieht. Auch Spamfilter in E-Mail-Programmen sind im Kern nichts anderes. Firmen wiederum kaufen solche Filter als Bausteine ein, wenn sie eigene KI-Produkte bauen. In Fachtexten heißen sie dann oft Guardrails, also Leitplanken.

In den Nachrichten tauchen Sicherheitsklassifikatoren meist in zwei Zusammenhängen auf. Entweder hat jemand sie überlistet und zeigt, was ein Modell trotzdem preisgibt. Oder es gibt Kritik, dass sie zu streng eingestellt sind und legitime Themen unterdrücken. Beide Debatten drehen sich am Ende um dieselbe Schwelle.