Constitutional AI
Constitutional AI ist ein Trainingsverfahren, bei dem ein KI-Textprogramm seine eigenen Antworten anhand einer schriftlich festgelegten Liste von Regeln kritisiert und verbessert. Statt tausender menschlicher Bewertungen liefert diese Regelliste den Maßstab dafür, was eine gute Antwort ist.
Programme wie ChatGPT lernen zunächst nur, Texte fortzusetzen. Danach muss man ihnen beibringen, sich anständig zu verhalten: nicht beleidigen, keine Anleitung zum Bombenbau geben, ehrlich bleiben. Üblicherweise machen das Menschen, die viele Antwortpaare vergleichen und jeweils die bessere markieren. Constitutional AI ersetzt einen großen Teil dieser Arbeit. Man schreibt die gewünschten Verhaltensregeln in normaler Sprache auf, ähnlich einer kurzen Verfassung. Das Programm prüft seine eigenen Antworten dann selbst gegen diese Regeln und schreibt sie um. Entwickelt und benannt wurde das Verfahren 2022 vom KI-Unternehmen Anthropic.
Regeln auf Papier statt Bauchgefühl von Klickarbeitern
Der wichtigste Gewinn ist Nachvollziehbarkeit. Bei der klassischen Methode steckt das Werteverständnis in Millionen einzelner Klicks von bezahlten Testpersonen. Niemand kann später sagen, warum das Modell eine bestimmte Frage ablehnt. Bei Constitutional AI steht der Grundsatz in einem lesbaren Dokument. Man kann ihn zitieren, kritisieren und ändern.
Dazu kommt ein praktischer Punkt: Kosten und Tempo. Menschen zu bezahlen, die tausende Antworten auf Gewalt, Hass oder Falschinformation prüfen, ist teuer und langsam. Das Verfahren belastet außerdem die Prüfenden, weil sie ständig verstörende Inhalte lesen müssen. Ein Modell, das sich selbst korrigiert, erzeugt in Stunden so viele Trainingsbeispiele wie ein Team in Monaten.
Es gibt aber eine klare Grenze. Die Regelliste selbst schreiben immer noch Menschen, nämlich die Mitarbeiter der Firma. Wer entscheidet, was „schädlich“ heißt, hat also weiterhin viel Macht. Constitutional AI verlagert die menschliche Wertentscheidung nur an eine andere Stelle. Es schafft sie nicht ab, macht sie aber sichtbar.
Kritik und Überarbeitung in zwei Runden
Der erste Schritt heißt Selbstkritik. Das Modell bekommt eine heikle Frage und antwortet erst einmal ungefiltert. Dann wird es aufgefordert, seine eigene Antwort an einem der Grundsätze zu messen. Zum Schluss soll es eine verbesserte Fassung schreiben. Aus diesen überarbeiteten Antworten entsteht ein Trainingsdatensatz, mit dem man das Modell erneut trainiert.
Im zweiten Schritt wird das Modell zum Schiedsrichter. Es erzeugt zu jeder Frage zwei Antworten und entscheidet selbst, welche besser zur Verfassung passt. Diese Vergleiche trainieren ein zweites, kleines Programm, das Antworten mit Punkten bewertet. Das Hauptmodell übt anschließend so lange, bis es möglichst hohe Punktzahlen erreicht. Fachleute nennen dieses Belohnungslernen Reinforcement Learning.
Der entscheidende Unterschied zum älteren Verfahren steckt genau hier. Beim üblichen Reinforcement Learning from Human Feedback, kurz RLHF, kommen die Vergleiche von Menschen. Bei Constitutional AI kommen sie vom Modell, geleitet von der Regelliste. Deshalb spricht man auch von RLAIF, also Feedback aus künstlicher Intelligenz statt von Menschen.
Anthropics Claude und die veröffentlichte Regelliste
Am direktesten trifft man das Verfahren im Chatbot Claude von Anthropic. Er ist der bekannteste Konkurrent von ChatGPT und wird nach diesem Prinzip abgestimmt. Anthropic hat die zugehörige Verfassung öffentlich ins Netz gestellt. Darin stehen Sätze aus der Allgemeinen Erklärung der Menschenrechte, aber auch Regeln gegen Bevormundung und gegen unnötige Belehrungen.
In Wirtschaftsnachrichten taucht der Begriff meist im Zusammenhang mit KI-Sicherheit und Regulierung auf. Firmen müssen zunehmend belegen, wie sie Risiken ihrer Modelle begrenzen. Ein schriftliches Regelwerk ist dabei ein gutes Argument gegenüber Aufsichtsbehörden. Auch andere Anbieter arbeiten inzwischen mit Modellspezifikationen, die derselben Idee folgen.
Ein häufiger Irrtum ist, das Programm halte sich beim Chatten aktiv an einen Gesetzestext. Das tut es nicht. Die Regeln wirken nur während des Trainings und prägen dort das Verhalten. Im späteren Gespräch liest das Modell keine Verfassung nach, sondern folgt Gewohnheiten, die es sich antrainiert hat. Deshalb bleiben Verstöße möglich, und Sicherheitstests bleiben nötig.