Curriculum Learning

Ein KI-Programm lernt, indem man ihm sehr viele Beispiele vorlegt und es aus seinen Fehlern nachjustiert. Normalerweise kommen diese Beispiele in zufälliger Reihenfolge, ganz durcheinander gemischt. Curriculum Learning macht es anders: Die Reihenfolge wird bewusst geplant, so wie ein Lehrplan in der Schule. Zuerst kommen leichte Beispiele, dann mittelschwere, am Ende die kniffligen. Der Name stammt genau von dieser Idee — Curriculum ist das englische Wort für Lehrplan. Die Hoffnung dahinter: Wer erst die Grundlagen sicher beherrscht, tut sich beim Schweren später leichter.

Was eine geplante Reihenfolge bringt

Ein Vergleich aus der Schule trifft es gut. Niemand beginnt Mathematik mit Integralrechnung. Man fängt mit Addition an, weil sonst gar nichts hängen bleibt. Bei KI-Programmen ist es ähnlich: Sehr schwere Beispiele am Anfang erzeugen vor allem Verwirrung. Das Programm rudert dann in viele Richtungen gleichzeitig und findet lange keinen brauchbaren Weg.

Der praktische Gewinn ist meist Zeit und damit Geld. Training verbraucht Strom und teure Spezialchips, oft über Wochen. Wenn eine geschickte Reihenfolge dasselbe Ergebnis in achtzig Prozent der Zeit erreicht, ist das ein handfester Vorteil. Manchmal wird das Ergebnis zusätzlich besser, weil das Programm nicht in einer schlechten Zwischenlösung hängen bleibt.

Es gibt aber auch Fälle, in denen Curriculum Learning kaum etwas bringt. Bei sehr großen Datenmengen und langem Training verschwindet der Vorteil oft, weil das Programm ohnehin alles mehrfach sieht. Am deutlichsten wirkt die Methode dort, wo Daten knapp sind oder die Aufgabe sehr schwer ist. Fachleute streiten deshalb bis heute darüber, wann sich der Aufwand wirklich lohnt.

Wie man Schwierigkeit sortiert

Das Kernproblem ist banal und schwierig zugleich: Woher weiß man, welches Beispiel leicht ist? Manchmal gibt es ein offensichtliches Maß. Bei Texten kann man nach Satzlänge sortieren, bei Bildern nach Anzahl der Objekte, bei Schachstellungen nach Zahl der Figuren. Solche Maße legt ein Mensch vorher fest.

Eleganter ist es, das Programm selbst entscheiden zu lassen. Man misst dazu, wie stark es bei einem Beispiel danebenliegt. Beispiele mit großem Fehler gelten als schwer und werden zurückgestellt. Dieses Vorgehen heißt Self-Paced Learning, also selbstgesteuertes Lernen im eigenen Tempo. Die Sortierung passt sich dabei laufend an den Fortschritt an.

Ein häufiger Irrtum ist, dass man die leichten Beispiele danach weglegt. In der Praxis bleiben sie im Training, ihr Anteil sinkt nur allmählich. Sonst vergisst das Programm Gelerntes wieder — das nennt man katastrophales Vergessen. Verwandt, aber nicht dasselbe ist Transfer Learning: Dort trainiert man erst eine andere Aufgabe und nutzt das Ergebnis als Startpunkt. Curriculum Learning bleibt dagegen bei einer Aufgabe und ordnet nur ihre Beispiele.

Curriculum Learning in echten Systemen

Am sichtbarsten ist die Methode bei KI-Systemen, die Spiele beherrschen sollen. Roboterarme lernen zuerst, einen großen Klotz zu greifen, später kleine unregelmäßige Gegenstände. Fahrassistenz-Software wird in der Simulation zunächst auf leeren geraden Straßen trainiert, dann bei Regen und dichtem Verkehr. Ohne diese Staffelung würden solche Systeme oft überhaupt nicht anspringen.

Auch bei Sprachmodellen, also den Programmen hinter Chatbots, tauchen ähnliche Ideen auf. Firmen sortieren ihre Trainingstexte nach Qualität und legen die besonders sauberen Quellen bewusst ans Ende. Ebenso üblich ist ein Aufbau von kurzen zu sehr langen Texten. In Fachartikeln und Unternehmensmitteilungen liest man dann von einer Data Mixture oder einem Trainings-Curriculum.

Für Anlegerinnen und Anleger ist der Begriff vor allem ein Hinweis darauf, wie viel Handarbeit im Training steckt. Wer gute Daten in guter Reihenfolge hat, braucht weniger Rechenleistung für dasselbe Ergebnis. Genau damit begründen kleinere Anbieter, warum sie mit den Riesen mithalten wollen. Ob das Versprechen hält, zeigt sich erst an den fertigen Modellen.