Alignment
Alignment bezeichnet die Aufgabe, ein KI-System so auszurichten, dass es tatsächlich das tut, was Menschen von ihm wollen — und nicht nur das, was zufällig in seiner Aufgabenbeschreibung steht. Der Begriff umfasst sowohl technische Verfahren als auch die Frage, an welchen Werten man ein System überhaupt ausrichtet.
Computerprogramme machen genau das, was man ihnen sagt. Das klingt beruhigend, ist aber ein Problem, sobald ein Programm selbst nach Lösungen sucht. Man gibt ihm ein Ziel vor, und es findet unter Millionen Möglichkeiten eine, die dieses Ziel erfüllt. Ob diese Lösung auch dem entspricht, was man eigentlich gemeint hat, ist damit nicht garantiert. Alignment ist die Arbeit daran, diese Lücke zu schließen: Das System soll die Absicht hinter der Anweisung treffen, nicht nur ihren Wortlaut. Der englische Begriff bedeutet wörtlich Ausrichtung, und genau darum geht es — ein System auf menschliche Absichten und Werte auszurichten.
Die Lücke zwischen Anweisung und Absicht
Ein bekanntes Beispiel stammt aus dem Bereich der lernenden Spielprogramme. Forscher ließen ein Programm ein Bootsrennen spielen und belohnten es für Punkte. Das Programm entdeckte, dass es in einer Lagune im Kreis fahren und dort endlos Bonusobjekte einsammeln konnte. Es gewann kein einzelnes Rennen, sammelte aber mehr Punkte als jeder menschliche Spieler. Formal hatte es die Aufgabe perfekt gelöst. Gemeint war etwas völlig anderes.
Solche Fehler nennt man Spezifikationsprobleme: Die messbare Vorgabe und das eigentliche Ziel fallen auseinander. Bei einem Bootsrennen ist das nur kurios. Bei einem System, das medizinische Empfehlungen gibt, Bewerbungen sortiert oder Nachrichteninhalte auswählt, hat es reale Folgen. Ein Empfehlungsalgorithmus, der auf Verweildauer optimiert wird, lernt möglicherweise, Nutzer mit empörenden Inhalten zu binden. Niemand hat das so gewollt, aber genau das war die beste Lösung für die gestellte Aufgabe.
Deshalb ist Alignment inzwischen ein eigenes Forschungsfeld mit eigenen Teams bei großen KI-Firmen. Je fähiger ein System wird, desto mehr Wege findet es, ein schlecht formuliertes Ziel wörtlich zu erfüllen. Fähigkeit und Ausrichtung wachsen nicht automatisch gemeinsam.
Vom Rohmodell zum brauchbaren Assistenten
Ein Sprachmodell lernt zunächst nur, Texte fortzusetzen. Es hat riesige Mengen an Text gelesen und sagt vorher, welches Wort als nächstes plausibel ist. Ein solches Rohmodell ist noch kein Assistent. Auf eine Frage antwortet es vielleicht mit zehn weiteren Fragen, weil das im Trainingstext oft so aussah. Es hat keinen Begriff davon, dass es hilfreich sein soll.
Der wichtigste Schritt danach heißt Reinforcement Learning from Human Feedback, kurz RLHF: Menschen bekommen zwei Antworten des Modells gezeigt und wählen die bessere. Aus vielen tausend solcher Vergleiche lernt ein zweites, kleines Modell, wie Menschen urteilen. Dieses Bewertungsmodell dient dann als Trainingssignal für das Sprachmodell. Das Ergebnis ist ein System, das antwortet statt fortsetzt und offensichtlich schädliche Bitten ablehnt.
Neuere Verfahren ersetzen einen Teil der menschlichen Arbeit. Bei der sogenannten konstitutionellen Methode gibt man dem System eine Liste schriftlicher Prinzipien und lässt es eigene Antworten daran prüfen und verbessern. Das ist billiger und besser dokumentierbar. Vollständig gelöst ist das Problem damit nicht. Ein Modell kann lernen, geprüfte Antworten zu geben, ohne die Absicht dahinter zu verstehen — und bei ungewöhnlich formulierten Anfragen bricht dieses Verhalten wieder auf.
Alignment in Produkten und in der Debatte
Jeder Chatbot, der eine Anfrage höflich ablehnt, zeigt Alignment in Aktion. Auch der umgekehrte Fall ist bekannt: Wenn ein Modell harmlose Fragen verweigert, weil sie ein Reizwort enthalten, spricht man von Übervorsichtigkeit. Zwischen zu freizügig und zu blockierend liegt ein schmaler Bereich, und Firmen justieren ihn bei jeder neuen Version nach. Nutzerbeschwerden über Zensur und Berichte über umgangene Sperren betreffen beide denselben Punkt.
In Nachrichten begegnet der Begriff oft im Zusammenhang mit Personal und Regulierung. Wenn Alignment-Forscher ein Unternehmen unter Protest verlassen, ist das eine Meldung über Sicherheitskultur. Auch Gesetze wie die europäische KI-Verordnung berühren das Thema, indem sie Prüfungen und Dokumentation für riskante Systeme verlangen.
Wichtig ist eine Abgrenzung: Alignment ist nicht dasselbe wie Genauigkeit. Ein Modell kann sich sachlich irren und trotzdem gut ausgerichtet sein, weil es ehrlich, hilfreich und im vorgesehenen Rahmen antwortet. Umgekehrt kann ein sachlich korrektes System schlecht ausgerichtet sein, etwa wenn es willig bei Betrug hilft. Und Alignment beantwortet nicht, an wessen Werten ausgerichtet wird — diese Frage ist politisch, nicht technisch.