Refusal-Erkennung

Programme wie ChatGPT antworten nicht auf jede Frage. Manchmal lehnen sie ab, etwa mit dem Satz: « Dabei kann ich dir leider nicht helfen. » Eine solche Ablehnung nennt man im Fachjargon Refusal, vom englischen Wort für Verweigerung. Refusal-Erkennung ist die Aufgabe, solche Ablehnungen in Antworttexten automatisch zu finden und zu zählen. Ein Mensch erkennt sie sofort. Ein Computer braucht dafür eine Regel oder ein eigenes kleines Prüfprogramm, weil die Ablehnung in tausenden Formulierungen auftreten kann.

Warum Firmen ihre eigenen Absagen zählen

Wer einen Chatbot betreibt, muss zwei Fehler gleichzeitig vermeiden. Erstens darf das System keine gefährlichen Anleitungen ausgeben, etwa zum Bau von Waffen. Zweitens darf es nicht ständig harmlose Fragen abblocken. Der zweite Fall heißt Übervorsichtigkeit oder Over-Refusal. Beides ärgert Nutzer oder schadet dem Anbieter, nur auf unterschiedliche Weise.

Ohne Messung lässt sich hier nichts steuern. Anbieter schicken deshalb große Testmengen an Fragen durch das Modell, oft zehntausende. Danach muss jemand prüfen, wie viele Antworten Ablehnungen waren. Von Hand wäre das viel zu teuer. Genau diese Zählung übernimmt die Refusal-Erkennung.

Die Ergebnisse landen später in Modellkarten und Sicherheitsberichten, also den Begleitdokumenten zu neuen KI-Versionen. Dort steht dann etwa, dass ein Modell bei kritischen Anfragen in 98 Prozent der Fälle ablehnt und bei harmlosen Anfragen nur in einem Prozent. Solche Zahlen sind auch für Aufsichtsbehörden interessant. Und für Unternehmen, die entscheiden müssen, welches Modell sie einkaufen.

Von der Stichwortliste zum Prüfmodell

Der einfachste Ansatz ist eine Liste typischer Formulierungen. Man sucht im Antworttext nach Wendungen wie « ich kann nicht » oder « das darf ich nicht ». Das ist schnell und kostet fast nichts. Es ist aber auch fehleranfällig, weil Sprache flexibel ist.

Ein Beispiel zeigt das Problem. Der Satz « Ich kann dir nicht sagen, wer das Rennen gewinnt, aber hier sind die Regeln » enthält die Wendung « ich kann nicht ». Trotzdem ist es keine Verweigerung, sondern eine hilfreiche Antwort. Umgekehrt gibt es Ablehnungen ohne jedes typische Stichwort, etwa wenn das Modell nur höflich das Thema wechselt. Beide Fehlerarten verzerren die Statistik.

Deshalb nutzt man heute meist ein zweites KI-Modell als Prüfer. Es bekommt die Frage und die Antwort vorgelegt und entscheidet: Verweigerung oder nicht. Dieses Vorgehen heißt LLM-as-a-Judge, also Sprachmodell als Schiedsrichter. Manchmal wird auch ein kleiner, speziell trainierter Klassifikator eingesetzt, ein Programm, das nur diese eine Ja-Nein-Entscheidung gelernt hat. Wichtig ist die Abgrenzung: Refusal-Erkennung prüft nur, ob abgelehnt wurde, nicht ob die Ablehnung richtig war. Ob sie berechtigt war, entscheidet ein separater Schritt.

Refusals in Benchmarks und im Nutzeralltag

Am sichtbarsten ist das Thema bei Vergleichstests, den sogenannten Benchmarks. Testsammlungen wie XSTest bestehen absichtlich aus Fragen, die gefährlich klingen, aber harmlos sind. Ein Klassiker ist die Frage, wie man einen Kuchen tötet, gemeint als Wortspiel. Modelle, die hier ablehnen, gelten als übervorsichtig. Ohne automatische Refusal-Erkennung wären solche Tests nicht auswertbar.

Auch im Betrieb läuft die Erkennung mit. Anbieter beobachten laufend, wie oft ihr Produkt Anfragen abweist. Steigt die Quote nach einem Update stark, ist das ein Warnsignal. Firmen, die einen Chatbot in ihren Kundenservice einbauen, messen ebenfalls mit: Jede unnötige Absage ist ein Anruf beim menschlichen Support.

In der Berichterstattung tauchen Refusals oft ohne Fachwort auf. Wenn es heißt, ein neues Modell sei « zickig » geworden oder ein anderes « lockerer », stehen dahinter meist gemessene Refusal-Raten. Ein häufiger Irrtum ist übrigens, eine Ablehnung sei immer ein Fehler. Bei echten Risiken ist sie das gewünschte Verhalten.