Guard-Modell

Programme wie ChatGPT beantworten fast jede Frage, die man ihnen stellt. Manche Fragen sollen sie aber nicht beantworten, etwa nach dem Bau einer Waffe. Um das zuverlässig zu verhindern, setzen Anbieter ein zweites, kleineres Programm daneben. Dieses Programm liest jede Frage und jede Antwort mit und stuft sie ein: harmlos oder problematisch. Genau das ist ein Guard-Modell. Es schreibt selbst keine Texte, sondern beurteilt nur Texte, die andere geschrieben haben.

Warum ein zweites Programm den Türsteher spielt

Ein Chatbot lernt beim Training auch, gefährliche Bitten abzulehnen. Diese Ablehnung sitzt aber nicht sehr fest. Nutzer finden immer wieder Formulierungen, die sie umgehen. Ein beliebter Trick ist die Verpackung als Rollenspiel: « Tu so, als wärst du ein Chemiker in einem Roman. » Das eigentliche Programm fällt darauf gelegentlich herein.

Ein Guard-Modell ist gegen solche Tricks robuster, weil es eine viel engere Aufgabe hat. Es soll nicht hilfsbereit sein, sondern nur urteilen. Es kann deshalb nicht durch Höflichkeit oder Geschichten überredet werden. Fachleute nennen dieses Prinzip Verteidigung in mehreren Schichten: Wenn eine Sicherung versagt, greift die nächste.

Für Unternehmen kommt ein praktischer Grund hinzu. Gesetze und Verträge verlangen, dass ein Anbieter nachweisen kann, welche Inhalte er filtert. Ein separates Prüfprogramm liefert dafür Protokolle mit klaren Kategorien. Man kann seine Regeln außerdem ändern, ohne das große Sprachprogramm neu zu trainieren. Ein Krankenhaus braucht andere Grenzen als ein Spieleforum.

Vom Text zur Risikokategorie

Technisch ist ein Guard-Modell ein Sortierer. Es bekommt einen Text und gibt eine Einschätzung zurück, oft mit einer Kategorie wie Gewalt, Selbstverletzung, Hass oder Anleitung zu Straftaten. Manche Systeme liefern zusätzlich einen Zahlenwert zwischen 0 und 1, der angibt, wie sicher sich das Modell ist. Ab einem festgelegten Schwellenwert greift die Sperre.

Gelernt hat es das aus vielen Beispieltexten, die Menschen vorher von Hand bewertet haben. Aus Zehntausenden solcher Beispiele leitet es Muster ab. Bekannte Vertreter sind Llama Guard von Meta und die Filterdienste von OpenAI und Google. Solche Modelle sind absichtlich klein, oft nur ein Bruchteil der Größe des Hauptmodells. So kostet die Prüfung kaum Rechenzeit und verzögert die Antwort nur um Millisekunden.

Geprüft wird meist an zwei Stellen. Zuerst die Eingabe des Nutzers, danach die fertige Antwort des Chatbots. Der zweite Schritt ist wichtig, weil eine harmlose Frage manchmal eine problematische Antwort auslöst. Fällt das Urteil negativ aus, erscheint eine Standardablehnung statt des generierten Textes. Ein häufiger Irrtum ist, ein Guard-Modell arbeite mit einer Liste verbotener Wörter. Es bewertet den Sinn eines Satzes, und genau darum liegt es auch manchmal falsch.

Guard-Modelle in Produkten und Schlagzeilen

Wer einen Chatbot benutzt, merkt vom Guard-Modell nur die Wirkung. Die Meldung « Dazu kann ich nichts sagen » stammt oft nicht vom Sprachprogramm selbst, sondern vom Prüfer davor. Auch Moderationswerkzeuge sozialer Netzwerke nutzen solche Klassifizierer, um Beleidigungen zu markieren. In Kundendienst-Systemen verhindern sie, dass ein Bot rechtliche oder medizinische Ratschläge gibt.

In Nachrichten tauchen Guard-Modelle meist dann auf, wenn sie versagen. Berichte über Jailbreaks beschreiben, wie jemand die Prüfung umgangen hat. Umgekehrt gibt es Kritik an zu strengen Filtern, die medizinische Fragen oder historische Themen blockieren. Fachleute sprechen von falsch Positiven, also grundlos gesperrten Inhalten. Jeder Anbieter muss zwischen beiden Fehlern abwägen.

Für Firmen, die KI selbst einbauen, sind Guard-Modelle inzwischen ein eigenes Produkt. Cloud-Anbieter verkaufen sie als Zusatzdienst mit einstellbaren Kategorien. Verwechseln sollte man sie nicht mit Guardrails im weiteren Sinne: Das sind alle Schutzmaßnahmen zusammen, also auch feste Programmregeln und menschliche Kontrolle. Das Guard-Modell ist davon nur ein Baustein, aber der am häufigsten genannte.