Felony Bench

Felony Bench ist eine Sammlung von Testfragen für Computerprogramme, die Texte schreiben und auf Anfragen antworten. Alle Fragen darin drehen sich um schwere Straftaten, etwa den Bau von Waffen, Einbrüche oder Betrug. Man stellt dem Programm diese Fragen absichtlich und schaut, wie es reagiert. Gewünscht ist eine Weigerung, oft mit einem kurzen Hinweis, warum die Antwort verweigert wird. Antwortet das Programm stattdessen mit einer brauchbaren Anleitung, gilt der Test an dieser Stelle als nicht bestanden. Der Name klingt drastisch, beschreibt aber genau das Thema: « felony » ist das englische Wort für ein schweres Verbrechen. Solche Testsammlungen nennt man allgemein Benchmarks, also standardisierte Prüfungen, die man mit verschiedenen Systemen wiederholen kann.

Warum Verweigerungen überhaupt gemessen werden

Ein Sprachmodell ist ein Programm, das aus riesigen Textmengen gelernt hat, plausible Fortsetzungen zu erzeugen. Dabei hat es auch Wissen aufgenommen, das für Straftaten nützlich sein kann. Chemie, Elektronik, Netzwerktechnik und Buchhaltung sind nicht an sich gefährlich. Gefährlich wird erst die Kombination aus Wissen und einer konkreten kriminellen Absicht. Genau diese Grenze soll das Modell erkennen.

Ohne Messung bleibt Sicherheit eine Behauptung. Ein Anbieter kann sagen, sein System lehne gefährliche Anfragen ab. Erst ein Test mit hunderten Beispielen zeigt, ob das in der Breite stimmt. Deshalb sind solche Prüfungen auch für Behörden interessant, die KI-Produkte regulieren wollen.

Wichtig ist die Gegenrichtung. Ein Modell, das aus Angst alles ablehnt, ist ebenfalls schlecht. Wer nach der Wirkung von Schlafmitteln oder nach dem Ablauf eines Strafprozesses fragt, hat meist völlig harmlose Gründe. Gute Tests enthalten daher auch heikel klingende, aber legitime Fragen. Man misst beides: gefährliche Hilfe und übertriebene Vorsicht.

Wie so ein Test abläuft

Zuerst wird ein Katalog von Anfragen geschrieben, geordnet nach Deliktarten. Jede Anfrage bekommt eine Vorgabe, was als richtige Reaktion gilt. Dann laufen alle Anfragen automatisch durch das zu prüfende Modell. Die Antworten werden gesammelt und anschließend bewertet.

Die Bewertung übernimmt oft ein zweites Modell, das als Prüfer eingesetzt wird. Es entscheidet für jede Antwort, ob sie eine Weigerung, eine Teilhilfe oder eine vollständige Anleitung enthält. Stichproben werden zusätzlich von Menschen kontrolliert, weil automatische Prüfer Fehler machen. Am Ende steht eine Quote, zum Beispiel: In 3 von 100 Fällen half das Modell unerlaubt.

Interessant wird es bei Umgehungsversuchen, im Fachjargon Jailbreaks. Dabei verpackt man die verbotene Bitte in eine Geschichte, eine Rollenspielanweisung oder eine fremde Sprache. Viele Modelle lehnen die direkte Frage ab und beantworten die verkleidete Version. Ein anspruchsvoller Test enthält deshalb beide Varianten derselben Anfrage. Der Unterschied zwischen den Quoten zeigt, wie stabil die Schutzmechanismen wirklich sind.

Wo Felony Bench in Berichten und Produkten auftaucht

Wenn ein Unternehmen ein neues Sprachmodell vorstellt, veröffentlicht es meist einen technischen Bericht dazu. Darin stehen neben Leistungswerten auch Sicherheitszahlen aus Tests dieser Art. Fachmedien und Finanznachrichten greifen solche Zahlen auf, weil sie über Haftungsrisiken und Marktzulassungen mitentscheiden.

Auch Firmen, die KI in eigene Produkte einbauen, nutzen solche Kataloge. Eine Bank oder ein Versicherer will vor dem Start wissen, wie ihr Chatbot auf Missbrauchsversuche reagiert. Spezialisierte Dienstleister führen diese Prüfungen als Auftrag durch, ähnlich wie ein Sicherheitsaudit in der IT.

Ein häufiger Irrtum ist, ein guter Wert bedeute Sicherheit. Ein Benchmark prüft nur, was jemand vorher hineingeschrieben hat. Neue Angriffsideen entstehen ständig, und Testkataloge veralten. Außerdem können Anbieter gezielt auf bekannte Tests hin optimieren, ohne das Verhalten grundsätzlich zu verbessern. Zahlen aus Felony Bench sind also ein Hinweis, kein Sicherheitsnachweis.