Reinforcement Learning

Reinforcement Learning ist eine Methode, mit der ein Computerprogramm durch Ausprobieren lernt. Niemand sagt dem Programm, was die richtige Antwort ist. Es handelt, bekommt eine Rückmeldung in Form einer Punktzahl und passt sein Verhalten an. Handlungen, die viele Punkte brachten, wiederholt es häufiger. Handlungen mit wenig Punkten vermeidet es. Der Vergleich mit einem Hund, der für Tricks Leckerlis bekommt, trifft es recht gut. Auf Deutsch spricht man von verstärkendem Lernen.

Warum das wichtig ist

Die meisten KI-Systeme lernen aus fertigen Beispielen: Hier ein Foto, dort die Antwort « Katze ». Für viele Aufgaben gibt es aber keine Beispielsammlung mit richtigen Lösungen. Beim Schachspielen weiß niemand mit Sicherheit, welcher Zug der beste ist. Man weiß nur am Ende, ob man gewonnen hat. Genau für solche Fälle ist Reinforcement Learning gemacht.

Ein zweiter Grund ist noch wichtiger für die aktuelle Diskussion. Sprachmodelle wie ChatGPT lernen zunächst nur, Texte fortzusetzen. Höflich, hilfsbereit und vorsichtig werden sie erst in einem zweiten Schritt. Menschen bewerten dabei verschiedene Antworten, und das Modell lernt aus diesen Bewertungen. Dieses Verfahren heißt RLHF, also Reinforcement Learning aus menschlichem Feedback. Auch die neueren Modelle, die längere Rechenschritte vor der Antwort ausführen, wurden so trainiert.

Wie es funktioniert

Es gibt immer zwei Seiten: das lernende Programm, der Agent, und seine Umgebung. Die Umgebung kann ein Spielbrett sein, eine Simulation oder eine echte Maschine. Der Agent sieht den aktuellen Zustand, wählt eine Handlung und erhält dafür eine Belohnung. Diese Belohnung ist einfach eine Zahl. Dann beginnt der Ablauf mit dem neuen Zustand von vorn.

Das Ziel des Agenten ist nicht die höchste Belohnung im nächsten Schritt. Er soll die Summe aller Belohnungen bis zum Ende maximieren. Deshalb kann es sinnvoll sein, kurzfristig auf Punkte zu verzichten. Ein Schachprogramm opfert eine Figur, wenn es dadurch später gewinnt. Diese Weitsicht ist der schwierige Teil des Verfahrens.

Der Agent muss außerdem zwei Dinge abwägen. Er kann die Strategie nutzen, die bisher am besten funktioniert hat. Oder er probiert etwas Neues, das vielleicht besser ist. Nur ausprobieren führt zu nichts, nur wiederholen auch nicht. Ein weiteres Problem liegt in der Belohnung selbst: Wird sie ungeschickt gewählt, findet der Agent Abkürzungen. Ein Programm in einem Bootsrennen fuhr im Kreis und sammelte Punkte, statt das Rennen zu beenden. Fachleute nennen das Reward Hacking.

Wo man dem Begriff begegnet

Bekannt wurde die Methode durch Spiele. AlphaGo von Google DeepMind besiegte 2016 den weltbesten Go-Spieler. Der Nachfolger AlphaZero lernte Schach ausschließlich gegen sich selbst und schlug jedes bestehende Programm. Ähnliche Erfolge gab es bei Computerspielen wie Dota 2 und StarCraft.

Im Alltag steckt Reinforcement Learning in der Robotik, etwa wenn ein Roboterarm greifen lernt. Rechenzentren nutzen es zur Steuerung ihrer Kühlung und sparen damit Strom. Auch beim autonomen Fahren spielt es eine Rolle. In Finanz- und Techmeldungen tauchen vor allem die Kürzel RL und RLHF auf. Wenn ein Unternehmen davon spricht, sein Modell habe Denkfähigkeiten gelernt, steckt fast immer Reinforcement Learning dahinter. Nebenbei erklärt der Begriff auch, warum Training so teuer ist: Der Agent muss Millionen Versuche durchlaufen, bevor er gut wird.