Behavioral Cloning
Behavioral Cloning ist eine Methode, bei der ein Computerprogramm eine Aufgabe lernt, indem es Aufzeichnungen eines Menschen bei genau dieser Aufgabe nachahmt. Das Programm merkt sich, welche Handlung der Mensch in welcher Situation gewählt hat, und wiederholt dieses Muster später selbst.
Behavioral Cloning heißt übersetzt etwa „Verhalten kopieren“. Ein Computerprogramm lernt dabei eine Aufgabe, indem es einem Menschen bei dieser Aufgabe zusieht. Dafür wird alles aufgezeichnet: die Situation und die Handlung, die der Mensch in dieser Situation gewählt hat. Beim Autofahren wären das etwa das Kamerabild der Straße und der Lenkwinkel im selben Moment. Aus vielen tausend solcher Paare bildet das Programm eine Regel: Bei diesem Bild gehört dieser Lenkwinkel dazu. Danach kann es die Aufgabe selbst versuchen, ohne dass ihm jemand erklärt hätte, was eine Kurve überhaupt ist.
Der kürzeste Weg vom Menschen zur Maschine
Viele Aufgaben kann man perfekt ausführen, aber nur schwer in Regeln fassen. Ein Mensch weiß, wann er beim Einparken einlenken muss. Diese Erfahrung in Programmcode zu übersetzen, ist mühsam bis unmöglich. Behavioral Cloning umgeht das Problem: Statt Regeln zu schreiben, liefert man Beispiele.
Der zweite Vorteil ist der geringe Aufwand. Ein anderes Verfahren, das bestärkende Lernen, lässt ein Programm selbst herumprobieren und belohnt gute Ergebnisse. Das braucht Millionen von Versuchen und eine Bewertungsfunktion, die man erst mühsam festlegen muss. Ein echter Roboter würde bei diesem Herumprobieren viel kaputt machen. Behavioral Cloning kommt dagegen mit fertigen Aufnahmen aus und kann komplett ohne Risiko trainiert werden.
Deshalb ist die Methode heute der Standard-Einstieg in der Robotik. Man bringt einem Roboterarm eine Handbewegung bei, indem man ihn ein paar Dutzend Mal von Hand führt. Auch die Feinabstimmung großer Sprachmodelle beginnt oft mit diesem Prinzip: Menschen schreiben Musterantworten, das Modell ahmt deren Stil nach.
Vom Fahrtenbuch zur Vorhersage
Technisch ist Behavioral Cloning schlichtes Zuordnen. Jede aufgezeichnete Situation ist die Eingabe, die menschliche Handlung ist die gewünschte Ausgabe. Das lernende System vergleicht seine eigene Antwort mit der des Menschen. Weicht sie ab, werden die internen Zahlenwerte leicht verschoben. Nach vielen Durchläufen liegen die Antworten meist nahe beieinander.
Damit ist die Aufgabe im Kern nichts anderes als eine Vorhersage. Das System sagt nicht voraus, wie das Wetter morgen wird, sondern was der Mensch als Nächstes getan hätte. Es versteht dabei kein Ziel und keine Absicht. Es kennt nur den statistischen Zusammenhang zwischen Situation und Reaktion.
Genau daraus entsteht die bekannteste Schwäche der Methode. Ein Mensch fährt sauber in der Fahrbahnmitte, also enthalten die Daten fast nur Mittelspur-Situationen. Gerät das Programm im Einsatz doch einmal an den Fahrbahnrand, kennt es diese Lage nicht. Seine Reaktion wird ungenau, die Abweichung wächst, die nächste Situation ist noch fremder. Fachleute nennen diesen Aufschaukelungs-Effekt „compounding errors“, also sich aufsummierende Fehler. Gegenmittel sind bewusst eingestreute Fehlersituationen in den Trainingsdaten oder ein Mensch, der während des Lernens laufend korrigiert.
Von Tesla-Videos bis zum Küchenroboter
Am sichtbarsten ist die Methode beim autonomen Fahren. Hersteller wie Tesla werten Aufnahmen aus Millionen von Kundenfahrten aus und lernen daraus das Fahrverhalten. Wenn in Nachrichten steht, ein Fahrsystem sei „mit Milliarden Kilometern echter Fahrdaten trainiert“, steckt meist dieses Prinzip dahinter.
Auch in der Robotik taucht der Begriff ständig auf. Forschungsgruppen bei Google oder Nvidia zeigen Roboter, die Wäsche falten oder Geschirr einräumen. Trainiert wurden sie fast immer mit Aufnahmen von Menschen, die den Roboter per Fernsteuerung geführt haben. Sammlungen solcher Aufnahmen sind zu einem eigenen Wirtschaftsgut geworden, weil sie teuer und aufwendig zu erstellen sind.
Ein häufiger Irrtum ist, ein so trainiertes System könne besser werden als sein Vorbild. Das kann es normalerweise nicht. Es kopiert die Stärken und die Schwächen der Vorlage gleichermaßen. Wer ein System will, das den Menschen übertrifft, braucht danach zusätzliche Schritte, etwa das bestärkende Lernen. Behavioral Cloning liefert dafür einen guten Startpunkt, aber selten das Endergebnis.