Policy
Eine Policy ist die Handlungsvorschrift eines lernenden Computerprogramms: Sie legt fest, was das Programm in einer bestimmten Situation als Nächstes tut. Sie wird nicht von Hand geschrieben, sondern aus Erfahrung mit Belohnung und Misserfolg gelernt.
Manche Computerprogramme sollen nicht nur eine Frage beantworten, sondern handeln. Ein Roboterarm greift nach einem Becher, ein Programm spielt Schach, ein Steuerprogramm regelt die Kühlung eines Rechenzentrums. Solche Programme müssen in jeder Situation entscheiden, was sie als Nächstes tun. Die Regel, die diese Entscheidung trifft, heißt Policy. Man kann sie sich als Vorschrift vorstellen: Zustand rein, Handlung raus. Der entscheidende Punkt ist, dass diese Vorschrift meist nicht von Menschen geschrieben, sondern durch Ausprobieren erlernt wird.
Warum Handeln schwieriger ist als Antworten
Bei einer normalen Vorhersage gibt es eine richtige Antwort, und das Programm lernt aus Beispielen. Beim Handeln ist das anders. Niemand kann für jede der Milliarden möglichen Schachstellungen den besten Zug aufschreiben. Es gibt oft auch gar keinen eindeutig richtigen Zug, sondern nur mehr oder weniger aussichtsreiche.
Dazu kommt, dass Entscheidungen Folgen haben. Ein Zug, der jetzt gut aussieht, kann zwanzig Züge später verlieren. Eine Policy muss deshalb nicht den sofortigen Vorteil maximieren, sondern den Erfolg am Ende. Genau diese Verzögerung zwischen Handlung und Ergebnis macht das Lernen anspruchsvoll.
Der Begriff ist auch deshalb wichtig, weil moderne Sprachmodelle inzwischen nach demselben Prinzip nachtrainiert werden. Wenn ein Chatbot lernt, hilfreiche statt beleidigende Antworten zu geben, wird im Fachjargon seine Policy angepasst. Jedes ausgegebene Wort gilt dann als Handlung.
Belohnung als einziger Lehrer
Das Programm bekommt keine Musterlösung, sondern nur eine Zahl: die Belohnung. Beim Schach etwa gibt es am Ende einen Punkt für den Sieg und null für die Niederlage. Das Programm spielt sehr viele Partien und beobachtet, welche Handlungen häufiger zu hohen Belohnungen führten. Solche Handlungen macht es künftig wahrscheinlicher, die anderen seltener. Dieses Verfahren nennt man bestärkendes Lernen.
Technisch steckt hinter einer Policy in der Regel ein neuronales Netz, also ein System aus vielen einstellbaren Zahlen, das aus Daten Muster lernt. Es bekommt die aktuelle Lage als Eingabe und gibt für jede mögliche Handlung eine Wahrscheinlichkeit aus. Eine Policy ist also selten starr. Sie würfelt gewissermaßen mit gewichteten Chancen, damit das Programm auch Neues ausprobiert.
Ein häufiger Irrtum ist, eine Policy mit einem festen Regelwerk zu verwechseln. Wenn ein Mensch schreibt „bei rotem Licht anhalten“, ist das eine Programmzeile, keine gelernte Policy. Der Unterschied liegt nicht im Ergebnis, sondern in der Herkunft der Regel.
Von Alphago bis zum Lagerroboter
Am bekanntesten wurde das Prinzip 2016, als das Programm AlphaGo den weltbesten Go-Spieler schlug. Seine Policy war aus Millionen von Partien gegen sich selbst entstanden. In Nachrichten über Robotik taucht der Begriff heute regelmäßig auf, etwa wenn Firmen an Policies arbeiten, die ein Greifsystem auf unbekannte Gegenstände übertragen.
Im Alltag begegnet man Policies eher unsichtbar. Sie steuern, welches Video eine Plattform als Nächstes vorschlägt, oder wie ein Lagerroboter zwischen Regalen navigiert. Auch die Feinabstimmung bekannter Chatbots gehört dazu. Wichtig ist noch eine Warnung vor einem Wortdoppel: In Berichten über Regulierung meint „Policy“ oft schlicht Richtlinie oder Politik. Ob die technische oder die organisatorische Bedeutung gemeint ist, verrät meist der Zusammenhang.