Trainingsumgebung

Manche Computerprogramme lernen nicht aus fertigen Beispielen, sondern durch eigenes Ausprobieren. Dafür braucht man einen Ort, an dem sie gefahrlos üben können. Genau das ist eine Trainingsumgebung: ein abgesteckter Schauplatz mit klaren Regeln, in dem das Programm handeln darf. Nach jedem Versuch gibt es eine Rückmeldung, ob das Ergebnis gut oder schlecht war. Meist ist so eine Umgebung eine Simulation, also ein Nachbau der Wirklichkeit im Rechner. Sie kann auch ein Schachbrett sein, ein Videospiel oder ein nachgebildetes Warenlager.

Warum das wichtig ist

Für Sprachmodelle gibt es riesige Textmengen aus dem Internet. Für Handeln gibt es das nicht. Niemand hat aufgeschrieben, wie man Schritt für Schritt eine Software repariert oder einen Roboterarm bewegt. Diese Erfahrung muss das Modell selbst erzeugen, und dafür braucht es eine Umgebung.

Eine Simulation hat dabei zwei große Vorteile. Sie läuft schneller als die Realität, oft tausendfach parallel. Und Fehler kosten nichts: ein simulierter Roboter darf umfallen, ein echter geht dabei kaputt.

Deshalb gelten gute Trainingsumgebungen inzwischen als knappes Gut. Mehrere Start-ups verdienen Geld damit, solche Umgebungen für KI-Firmen zu bauen. Wer eine realistische Umgebung besitzt, besitzt eine Art Trainingsplatz, den andere nicht haben.

Wie das funktioniert

Eine Trainingsumgebung besteht aus drei Teilen. Erstens dem Zustand: alles, was das Programm gerade sehen kann. Zweitens den erlaubten Handlungen. Drittens einer Bewertungsregel, die jeder Handlung eine Punktzahl zuordnet. Diese Punktzahl nennt man Belohnung.

Der Ablauf wiederholt sich in einer Schleife. Das Programm sieht den Zustand, wählt eine Handlung, die Umgebung berechnet den neuen Zustand und die Belohnung. Dann beginnt der nächste Durchgang. Ein solcher Durchlauf von Anfang bis Ende heißt Episode.

Über Millionen Episoden verschiebt das Programm seine Vorlieben in Richtung der Handlungen, die im Schnitt mehr Punkte brachten. Dieses Lernverfahren heißt Reinforcement Learning, auf Deutsch verstärkendes Lernen. Die Umgebung ist dabei der Prüfer, nicht der Lehrer: sie sagt nur, wie gut es war, nicht was richtig gewesen wäre.

Der schwierige Teil ist die Bewertungsregel. Sie belohnt genau das, was man hinschreibt, nicht das, was man meint. Ein Modell, das Punkte fürs Bestehen von Softwaretests bekommt, findet vielleicht einen Weg, die Tests auszutricksen, statt den Fehler zu beheben. Solche Abkürzungen nennt man Reward Hacking. Ein zweites Problem ist die Lücke zwischen Simulation und Wirklichkeit. Was im Nachbau klappt, scheitert draußen an Reibung, Licht oder unerwarteten Nutzern.

Wo man dem Begriff begegnet

Bekannt wurde die Idee durch Spiele. Programme lernten Atari-Klassiker, Go und Strategiespiele allein durch Partien gegen sich selbst. Diese Spiele waren nichts anderes als Trainingsumgebungen mit einer sehr einfachen Bewertung: gewonnen oder verloren.

Heute liest man den Begriff vor allem im Zusammenhang mit KI-Agenten, also Programmen, die mehrschrittige Aufgaben selbst abarbeiten. Sie üben in nachgebauten Browsern, Buchhaltungssystemen oder Programmierumgebungen. Auch autonome Autos und Roboter sammeln den Großteil ihrer Kilometer in Simulationen.

In Firmenmeldungen taucht das Thema meist unter dem Stichwort Datenknappheit auf. Wenn ein Anbieter ankündigt, in Umgebungen zu investieren, heißt das: Er will Erfahrung erzeugen, die sich im Internet nicht finden lässt.