Model-Guided Annealed Reinforcement Learning

Manche Computerprogramme lernen nicht aus fertigen Lösungen, sondern durch Ausprobieren. Sie handeln, bekommen eine Rückmeldung in Form von Punkten und passen ihr Verhalten an. Dieses Prinzip nennt man Reinforcement Learning, also Lernen durch Belohnung. Es funktioniert gut, verschlingt aber enorm viele Versuche, weil das Programm am Anfang praktisch blind herumprobiert. Model-Guided Annealed Reinforcement Learning ist ein Trainingsrezept, das diesen Anfang abkürzt: Ein zusätzliches Programm, das die Spielregeln der Umgebung ungefähr vorhersagen kann, gibt am Start Hinweise. Diese Hilfe wird im Lauf des Trainings langsam heruntergefahren, bis das Programm allein zurechtkommt. Das langsame Herunterfahren heißt auf Englisch Annealing, nach dem kontrollierten Abkühlen von Metall.

Warum Ausprobieren so teuer ist

Lernen durch Belohnung ist berüchtigt dafür, wie viele Durchläufe es braucht. Ein Programm, das ein Videospiel meistern soll, spielt es oft millionenfach. Bei einem Roboterarm ist das ein Problem, denn echte Hardware verschleißt und echte Zeit lässt sich nicht beschleunigen. Jeder gesparte Versuch ist deshalb bares Geld.

Der Grund für die Verschwendung liegt am Start. Anfangs sind alle Aktionen gleich schlecht, also gibt es fast nie eine Belohnung. Ohne Belohnung gibt es aber auch nichts zu lernen. Diese Phase kann einen großen Teil des gesamten Trainings auffressen, ohne dass sichtbarer Fortschritt entsteht.

Ein Weltmodell überspringt diese Durststrecke, weil es plausible Handlungen vorschlagen kann. Der Preis dafür ist, dass es sich irrt. Wer sich dauerhaft auf ein ungenaues Modell verlässt, übernimmt dessen Fehler. Genau deshalb ist das schrittweise Zurückfahren der Führung der eigentliche Kern des Verfahrens.

Vom Modell geführt zur eigenen Erfahrung

Zum Aufbau gehören zwei Teile. Der eine ist die Strategie, also das Programm, das am Ende handeln soll. Der andere ist das Weltmodell, eine gelernte Vorhersage, was auf eine Handlung folgen dürfte. Das Modell wird entweder vorab aus vorhandenen Aufzeichnungen gelernt oder wächst während des Trainings mit.

In der Frühphase darf das Modell viel mitreden. Es simuliert mögliche Handlungsfolgen im Kopf und schlägt vor, welche davon vielversprechend aussieht. Die Strategie orientiert sich stark an diesen Vorschlägen. Ein Gewichtungsfaktor legt fest, wie schwer der Rat des Modells wiegt und wie schwer die echte Erfahrung.

Dieser Faktor sinkt nach einem festen Plan, oft über hunderttausende Trainingsschritte. Nach und nach zählt nur noch, was in der echten Umgebung tatsächlich passiert ist. Man kann sich das wie Fahrstunden vorstellen: Zuerst greift der Fahrlehrer oft ins Lenkrad, dann seltener, irgendwann gar nicht mehr. Wichtig ist, dass der Übergang gleitend ist. Reißt die Hilfe abrupt ab, bricht die Leistung des Programms ein.

Robotik, Simulation und Forschungsmeldungen

Im Alltag begegnet dir das Verfahren nicht direkt, sondern in seinen Ergebnissen. Typische Einsatzfelder sind Robotergreifarme in Lagerhallen, Steuerungen von Drohnen und die Optimierung von Kühlung in Rechenzentren. Überall dort sind reale Versuche langsam oder riskant, ein Modell dagegen billig.

In Fachmeldungen taucht der Begriff meist in Kombination mit Angaben zur Effizienz auf. Formulierungen wie „benötigt sechzig Prozent weniger Umgebungsinteraktionen“ beziehen sich genau darauf. Verwandte Stichwörter, die dir dabei begegnen, sind modellbasiertes Reinforcement Learning und Curriculum Learning, bei dem Aufgaben von leicht nach schwer sortiert werden.

Ein häufiger Irrtum ist, das Verfahren mache Modelle klüger. Das tut es nicht. Es macht das Training schneller und günstiger, während die erreichte Endleistung im besten Fall gleich bleibt. Wer die Führung zu lange aufrechterhält, bekommt sogar ein schlechteres Ergebnis als mit reinem Ausprobieren.