Cyber-Klassifikator
Ein Cyber-Klassifikator ist ein Programm, das eingehende Texte oder Anfragen automatisch danach einsortiert, ob sie mit Angriffen auf Computer zu tun haben. Anbieter von KI-Systemen nutzen solche Sortierprogramme, um gefährliche Anfragen zu erkennen, bevor eine Antwort herausgeht.
Ein Klassifikator ist ein Programm, das etwas in Schubladen einsortiert. Es bekommt einen Text oder ein Bild und gibt eine Einordnung zurück, zum Beispiel „harmlos“ oder „verdächtig“. Ein Cyber-Klassifikator ist auf eine bestimmte Schublade spezialisiert: auf Angriffe gegen Computer und Netzwerke. Er prüft also, ob jemand gerade Hilfe beim Einbrechen in fremde Systeme sucht. Solche Programme laufen im Hintergrund von Chatbots und Sicherheitssoftware, meist ohne dass Nutzer davon etwas merken.
Warum Anbieter Angriffs-Anfragen aussortieren wollen
Moderne KI-Systeme können Programmcode schreiben. Das ist nützlich für Schüler, Entwickler und Firmen. Es ist aber auch nützlich für jemanden, der Schadsoftware bauen will. Ein Sprachmodell antwortet von sich aus erst einmal so hilfreich wie möglich. Ohne zusätzliche Prüfung würde es also auch bei einer Anfrage helfen, die einem Angriff dient.
Dazu kommt rechtlicher Druck. Wer eine KI öffentlich anbietet, muss in vielen Ländern nachweisen, dass er Missbrauch aktiv bekämpft. Ein Cyber-Klassifikator ist ein sichtbarer Teil dieses Nachweises. Firmen wie OpenAI, Anthropic oder Google berichten regelmäßig darüber, wie viele Angriffsversuche ihre Filter erkannt haben.
Der Preis dafür sind Fehlalarme. Ein Sicherheitsforscher, der einen Virus untersucht, stellt sehr ähnliche Fragen wie ein Angreifer. Wird er ständig blockiert, ist das Produkt für ihn unbrauchbar. Anbieter müssen deshalb genau abwägen, wie streng sie ihren Filter einstellen.
Vom Beispiel zur Entscheidung
Die meisten Cyber-Klassifikatoren sind selbst kleine KI-Modelle. Sie werden mit vielen Beispielen trainiert, die vorher von Menschen einsortiert wurden. Ein Teil dieser Beispiele ist als schädlich markiert, ein anderer als harmlos. Aus diesen Beispielen lernt das Modell, worauf es achten muss. Danach kann es auch Texte einordnen, die es nie zuvor gesehen hat.
Am Ende steht keine feste Ja-Nein-Antwort, sondern eine Zahl. Diese Zahl gibt an, wie sicher sich das Modell ist, oft zwischen 0 und 1. Der Anbieter legt eine Grenze fest, die Schwelle heißt. Liegt der Wert darüber, wird die Anfrage blockiert oder an einen Menschen weitergeleitet. Verschiebt man diese Schwelle nach unten, fängt man mehr Angriffe ab, blockiert aber auch mehr harmlose Nutzer.
Wichtig ist die Abgrenzung zum Sprachmodell selbst. Der Klassifikator schreibt keine Antworten. Er beurteilt nur und läuft parallel zum eigentlichen System. Deshalb ist er klein, schnell und billig im Betrieb. Manche Anbieter prüfen zusätzlich die fertige Antwort, bevor sie auf dem Bildschirm erscheint.
Wo diese Filter im Alltag mitlaufen
Wer einen Chatbot nach dem Bau von Schadsoftware fragt, bekommt meist eine knappe Absage. Häufig steckt dahinter ein solcher Filter und nicht das Sprachmodell selbst. Auch E-Mail-Anbieter nutzen verwandte Technik, um Phishing-Mails zu erkennen. Damit sind gefälschte Nachrichten gemeint, die Passwörter abgreifen sollen.
In den Nachrichten taucht der Begriff vor allem in Sicherheitsberichten von KI-Firmen auf. Dort steht dann, wie viele Konten wegen erkannter Angriffsversuche gesperrt wurden. Anleger achten darauf, weil solche Zahlen zeigen, wie ernst ein Anbieter das Thema Sicherheit nimmt. Ein großer Missbrauchsfall kann Verträge mit Behörden und Konzernen kosten.
Ein verbreiteter Irrtum ist, dass diese Filter Angriffe stoppen. Das tun sie nicht. Sie verhindern nur, dass ein bestimmtes Werkzeug beim Angriff hilft. Wer entschlossen genug ist, formuliert seine Anfrage um oder nutzt ein Modell ohne Filter. Ein Cyber-Klassifikator ist deshalb eine Hürde, keine Mauer.