Deep Deterministic Policy Gradient
Deep Deterministic Policy Gradient (DDPG) ist ein Lernverfahren, mit dem ein Computerprogramm durch Ausprobieren steuern lernt – etwa einen Roboterarm. Es eignet sich besonders für Aufgaben, bei denen die Steuerung nicht aus wenigen Knöpfen besteht, sondern aus fein einstellbaren Werten wie einem Lenkwinkel.
Deep Deterministic Policy Gradient, kurz DDPG, ist ein Verfahren, mit dem ein Programm eine Steuerungsaufgabe durch Ausprobieren lernt. Es bekommt keine Lösung vorgesetzt, sondern nur eine Belohnung: eine Zahl, die sagt, wie gut es gerade läuft. Aus vielen Versuchen und den zugehörigen Belohnungen leitet es ab, welche Handlungen sich lohnen. Das Besondere an DDPG ist, dass es fein abgestufte Handlungen ausgeben kann. Ein Roboterarm wird nicht mit „links“ oder „rechts“ gesteuert, sondern mit Zahlenwerten wie 0,37 Newtonmeter Drehmoment. Genau für solche stufenlosen Größen wurde das Verfahren 2015 bei Google DeepMind entwickelt.
Warum stufenlose Steuerung ein eigenes Verfahren braucht
Ältere Lernverfahren gehen jede mögliche Handlung durch und wählen die beste aus. Bei einem Videospiel mit sechs Knöpfen ist das leicht: Man vergleicht sechs Optionen. Bei einem Gelenk, das jeden Winkel zwischen minus 90 und plus 90 Grad einnehmen kann, sind es unendlich viele. Ein Durchprobieren ist damit unmöglich.
DDPG löst das, indem es die beste Handlung nicht sucht, sondern direkt ausrechnet. Ein Netzwerk bekommt die aktuelle Situation und gibt sofort die passenden Zahlenwerte aus. Das spart den Vergleich aller Möglichkeiten komplett ein. Deshalb war DDPG lange das Standardverfahren für Robotik, Fahrzeugsteuerung und Simulationen von Bewegungen.
Wichtig ist die Abgrenzung: DDPG ist kein Sprachmodell und schreibt keine Texte. Es gehört ins bestärkende Lernen, also in den Bereich, in dem Programme durch Belohnung und Bestrafung Verhalten lernen. Mit denselben Grundideen wurden später auch Spielprogramme und Steuerungen für Rechenzentren trainiert.
Schauspieler und Kritiker im Zusammenspiel
DDPG besteht aus zwei lernenden Netzwerken. Das erste heißt Actor, also Schauspieler. Es sieht die Lage und entscheidet, was zu tun ist. Das zweite heißt Critic, also Kritiker. Es bewertet, wie viel Belohnung eine bestimmte Handlung in dieser Lage voraussichtlich einbringt.
Man kann sich das wie einen Fahrschüler mit Fahrlehrer vorstellen. Der Schüler lenkt, der Lehrer sagt, ob das eine gute Idee war. Der Kritiker lernt aus den tatsächlich erhaltenen Belohnungen, seine Bewertungen zu verbessern. Der Schauspieler lernt, Handlungen zu wählen, die der Kritiker gut bewertet. Beide werden gleichzeitig trainiert und ziehen sich gegenseitig nach oben.
Zwei Tricks halten das Training stabil. Erstens ein Speicher alter Erfahrungen, aus dem zufällig Beispiele gezogen werden. So lernt das System nicht nur aus den letzten Sekunden, sondern aus seiner ganzen Vergangenheit. Zweitens Zielnetzwerke: eingefrorene Kopien, die sich nur langsam an das Original angleichen. Ohne sie würde das System sich selbst hinterherlaufen und die Werte könnten davonlaufen. Zusätzlich wird auf jede Handlung etwas Zufall addiert, damit das Programm überhaupt Neues ausprobiert.
DDPG in Robotik, Forschung und Nachfolgeverfahren
In der Praxis begegnet DDPG einem vor allem in Simulationen. Standardaufgaben sind ein zweibeiniger Läufer, ein greifender Roboterarm oder ein virtuelles Auto auf einer Rennstrecke. Auch in der Industrie taucht das Prinzip auf, etwa bei der Regelung von Heizungen, Kühlkreisläufen oder Stromnetzen. Überall dort geht es um fein einstellbare Stellgrößen statt um einfache Ja-Nein-Entscheidungen.
In Fachartikeln und News steht DDPG heute oft als Ausgangspunkt einer Familie. Direkte Nachfolger heißen TD3 und SAC. Sie beheben eine bekannte Schwäche: Der Kritiker in DDPG neigt dazu, Handlungen zu optimistisch zu bewerten. Das Programm überschätzt sich dann und lernt schlechtes Verhalten. TD3 nutzt zwei Kritiker und glaubt jeweils dem pessimistischeren von beiden.
Ein häufiger Irrtum ist, DDPG sei ein fertiges Produkt. Es ist ein Algorithmus, also eine Rechenvorschrift, die in Bibliotheken wie PyTorch umgesetzt wird. Wer heute ein neues Steuerungsproblem angeht, greift meist zu den Nachfolgern. DDPG bleibt trotzdem wichtig, weil es die Grundstruktur aus Schauspieler, Kritiker und Erfahrungsspeicher etabliert hat.