Output-Klassifikator

Ein Chatprogramm, das automatisch Texte schreibt, liefert nicht immer eine brauchbare Antwort. Manchmal enthält sie Beleidigungen, gefährliche Anleitungen oder private Daten. Ein Output-Klassifikator ist ein zweites, kleines Prüfprogramm, das genau dafür da ist. Es liest die fertige Antwort und sortiert sie in Kategorien ein, zum Beispiel « unbedenklich », « Gewalt » oder « Selbstverletzung ». Erst wenn das Urteil unbedenklich lautet, wird die Antwort an den Nutzer ausgeliefert. Man kann sich das wie die Endkontrolle in einer Fabrik vorstellen: Nicht die Maschine selbst entscheidet, ob ein Teil rausgeht, sondern eine Prüfstation dahinter.

Die letzte Kontrolle vor dem Nutzer

Große Sprachmodelle lernen im Training auch, bestimmte Anfragen abzulehnen. Diese Selbstkontrolle ist aber nicht zuverlässig. Nutzer finden regelmäßig Formulierungen, mit denen sie die Regeln umgehen. Man nennt das Jailbreak, also einen Trick, mit dem das Modell doch antwortet. Ein separater Prüfer dahinter fängt genau solche Fälle noch ab.

Für Firmen ist das auch eine Frage der Haftung und des Rufs. Wenn ein Kundenservice-Bot einen Kunden beschimpft, ist das ein Vorfall mit Medienecho. Ein Output-Klassifikator ist die technische Antwort darauf, dass man dem Hauptmodell nicht blind vertrauen möchte. Er lässt sich außerdem schnell anpassen, ohne dass man das teure Hauptmodell neu trainieren muss.

Wichtig ist die Abgrenzung zum Input-Klassifikator. Dieser prüft die Frage des Nutzers, bevor das Modell überhaupt rechnet. Der Output-Klassifikator prüft danach das Ergebnis. Beides zusammen wird oft als Schutzschicht um ein Modell herum gebaut.

Vom Text zum Urteil

Meist ist der Klassifikator selbst ein kleines KI-Modell. Es wurde mit vielen Beispieltexten trainiert, die Menschen vorher bewertet haben. Aus diesen Beispielen lernt es Muster, die auf problematische Inhalte hindeuten. Als Ergebnis liefert es keine Ja-Nein-Antwort, sondern Wahrscheinlichkeiten, etwa 0,03 für Hassrede und 0,91 für unbedenklich.

Der Betreiber legt dann eine Schwelle fest, ab der blockiert wird. Diese Schwelle ist ein Kompromiss. Setzt man sie niedrig, werden auch harmlose Antworten geblockt, etwa eine medizinische Erklärung für den Biologieunterricht. Setzt man sie hoch, rutschen echte Problemfälle durch. Fachleute sprechen von falsch positiven und falsch negativen Treffern.

Eine Blockade muss nicht heißen, dass der Nutzer nichts bekommt. Häufig wird die Antwort durch einen Standardtext ersetzt. Manche Systeme erzeugen stattdessen einen neuen Versuch oder reichen den Fall an einen Menschen weiter. Bei Chatbots, die Wort für Wort tippen, ist der Zeitpunkt der Prüfung ein echtes Problem: Der Anfang der Antwort steht schon auf dem Bildschirm, bevor das Urteil fertig ist. Deshalb prüfen solche Systeme oft in kleinen Häppchen und brechen mitten im Satz ab.

Abgebrochene Antworten und Moderationsschnittstellen

Am deutlichsten begegnet man dem Prinzip, wenn ein Chatbot mitten in einer Antwort stoppt und den Text durch einen Hinweis ersetzt. Genau dort hat ein Output-Klassifikator eingegriffen. Auch der umgekehrte Fall ist bekannt: Man fragt etwas völlig Harmloses und wird trotzdem abgewiesen. Das ist meist ein falsch positiver Treffer des Prüfmodells.

Große KI-Anbieter stellen solche Prüfmodelle auch einzeln zur Verfügung, oft als Moderations-Schnittstelle bezeichnet. Entwickler schicken einen Text hin und bekommen die Bewertung zurück. Damit sichern Foren, Spiele oder Lern-Apps ihre eigenen Inhalte ab, ohne selbst ein Modell zu trainieren.

In Nachrichtenmeldungen tauchen Output-Klassifikatoren unter Sammelbegriffen wie Guardrails oder Sicherheitsfilter auf. Wenn ein Anbieter erklärt, er habe seine Schutzmechanismen verschärft, ist oft genau diese Prüfschicht gemeint. Für regulierte Bereiche wie Banken oder Versicherungen wird sie zunehmend zur Pflicht, weil sie sich protokollieren und nachprüfen lässt.