PPO

PPO steht für Proximal Policy Optimization und ist ein Verfahren, mit dem man eine KI trainiert, indem man ihr Rückmeldung gibt — ähnlich wie man einem Hund mit Leckerlis das richtige Verhalten beibringt. Die KI probiert etwas aus, bekommt eine Bewertung, und passt ihr Verhalten danach an. Dieser Ansatz heißt verstärkendes Lernen: die KI lernt nicht aus fertigen Beispielen, sondern aus den Folgen ihrer eigenen Aktionen. PPO ist dabei kein neues Ziel, sondern eine Methode, die sicherstellt, dass die KI ihren Kurs bei jedem Schritt nur ein kleines Stück ändert. Das klingt nach einer Kleinigkeit, macht aber den entscheidenden Unterschied zwischen einem stabilen und einem chaotischen Training.

Warum zu große Lernschritte das Training zerstören

Beim verstärkenden Lernen bewertet die KI ihre eigene aktuelle Strategie und versucht, daraus eine bessere zu machen. Das Problem: Wenn sie dabei zu weit springt, kann die neue Strategie plötzlich viel schlechter sein als die alte. Das Modell korrigiert sich dann wieder zu stark in die andere Richtung — und pendelt sich nie wirklich ein. In der Praxis heißt das: das Training bricht zusammen.

Frühere Verfahren haben versucht, dieses Problem mathematisch zu lösen, waren aber rechnerisch aufwendig und schwer zu implementieren. PPO hat das vereinfacht. Es begrenzt, wie stark sich die Strategie in einem einzigen Schritt verändern darf — und erreicht damit ähnliche Stabilität mit deutlich weniger Aufwand. Deshalb hat es ältere Konkurrenzverfahren in der Praxis weitgehend verdrängt.

Die „Prox“-Idee: nah an der alten Strategie bleiben

Der Name verrät das Prinzip: „Proximal“ bedeutet „nah dran“. PPO erlaubt der KI, ihre Strategie zu verbessern, aber nur so weit, dass die neue Version der alten noch ähnlich genug ist. Technisch gesehen misst das Verfahren, wie stark sich die Wahrscheinlichkeiten der Entscheidungen vor und nach dem Update unterscheiden. Überschreitet diese Abweichung eine bestimmte Schwelle, greift eine Bremse — der sogenannte Clipping-Mechanismus — und begrenzt die Änderung automatisch.

Das Verfahren läuft in Runden: Die KI sammelt eine Menge an Erfahrungen, bewertet sie, und führt dann mehrere kleine Updates durch — immer mit derselben Bremse. Erst dann wird eine neue Runde gestartet und neue Erfahrungen werden gesammelt. Diese Aufteilung macht das Training sowohl stabil als auch recheneffizient, weil dieselben gesammelten Daten mehrfach verwendet werden, bevor sie verworfen werden.

Ein häufiger Irrtum ist, PPO mit dem eigentlichen Ziel des Trainings zu verwechseln. PPO ist das Werkzeug, nicht das Ziel. Womit man die KI belohnt — also was als „gute“ Antwort gilt — ist eine separate Entscheidung. In der Praxis kommt dafür oft ein eigenes Modell zum Einsatz, das menschliche Bewertungen nachahmt und dem Hauptmodell während des PPO-Trainings Punkte gibt.

PPO in konkreten Produkten und aktuellen Debatten

OpenAI hat PPO selbst entwickelt und 2017 veröffentlicht. Bekannt wurde das Verfahren zuerst in Spielen: Eine KI trainierte damit allein, ohne menschliche Vorgaben, und wurde besser als jeder menschliche Spieler in komplexen Echtzeitstrategiespielen. Kurze Zeit später wurde PPO auch für Sprachmodelle eingesetzt — und ist heute ein Kernelement des RLHF genannten Verfahrens, mit dem Modelle wie ChatGPT oder Gemini auf menschliches Feedback ausgerichtet werden. RLHF steht für Reinforcement Learning from Human Feedback, also verstärkendes Lernen aus menschlichen Rückmeldungen.

In Nachrichtenartikeln taucht PPO meist dann auf, wenn es um die Frage geht, wie man ein Sprachmodell nicht nur klug, sondern auch hilfreich und sicher macht. Das reine Sprachtraining bringt einem Modell bei, wie Text aussieht — PPO bringt ihm bei, was ein Mensch als gute Antwort empfindet. Diese zweite Phase ist entscheidend dafür, dass ein Modell keine gefährlichen oder unsinnigen Antworten gibt, sondern die produziert, die Nutzer tatsächlich erwarten.

Neuere Forschung testet, ob sich PPO durch andere Verfahren ersetzen lässt, die ohne ein separates Bewertungsmodell auskommen. Bisher bleibt PPO aber der Industriestandard, wenn es darum geht, große Sprachmodelle durch Feedback zu verfeinern.