Optimizer

Ein KI-Modell besteht im Kern aus Millionen bis Milliarden von Zahlen. Diese Zahlen sind Stellschrauben, an denen man drehen kann. Beim Lernen bekommt das Modell Beispiele vorgesetzt und macht Vorhersagen. Anschließend wird gemessen, wie weit die Vorhersage danebenlag. Der Optimizer ist die Rechenvorschrift, die aus diesem Messwert ableitet, wie die Stellschrauben verändert werden. Er dreht sie also nicht zufällig, sondern nach einer festen Regel in Richtung eines kleineren Fehlers.

Warum die Wahl des Verfahrens über Wochen Rechenzeit entscheidet

Große Modelle werden auf tausenden Grafikkarten trainiert. Jeder Tag kostet Strom, Miete und Personal. Ein guter Optimizer erreicht dasselbe Ergebnis in weniger Schritten. Bei einem Training über mehrere Wochen kann das Millionenbeträge ausmachen. Deshalb ist die Wahl des Verfahrens keine Nebensache, sondern eine der wichtigsten Entscheidungen im Projekt.

Ein schlechter Optimizer kostet aber nicht nur Zeit. Er kann das Training auch komplett zum Entgleisen bringen. Werden die Änderungen zu groß gewählt, schießt das Modell über das Ziel hinaus. Die Fehlerwerte explodieren, und die Zahlen im Modell werden unbrauchbar. In der Praxis muss man dann von einem älteren Zwischenstand neu starten.

Umgekehrt ist ein zu vorsichtiger Optimizer ebenfalls ein Problem. Das Modell verbessert sich dann nur noch in winzigen Schritten. Nach Tagen sieht die Kurve fast waagerecht aus, obwohl viel Potenzial übrig wäre. Fachleute sprechen davon, dass das Training stagniert. Die Kunst liegt darin, zwischen zu mutig und zu zaghaft die richtige Mitte zu treffen.

Gefälle, Schrittweite und das Gedächtnis des Verfahrens

Man kann sich das Training als Wanderung im Nebel vorstellen. Man steht an einem Berghang und will ins Tal, sieht aber nur den Boden direkt vor sich. Was man erkennen kann, ist die Richtung des stärksten Gefälles. Genau diese Information liefert beim Training ein Rechenschritt namens Gradient. Der Optimizer entscheidet, wie weit man in diese Richtung geht.

Die Größe eines solchen Schritts heißt Lernrate. Sie ist die wichtigste Einstellung überhaupt und wird meist im Verlauf des Trainings verkleinert. Am Anfang darf man große Sprünge machen, später braucht es Feinarbeit. Das einfachste Verfahren, der stochastische Gradientenabstieg, macht genau das und nichts weiter.

Moderne Optimizer sind schlauer, weil sie sich frühere Schritte merken. Adam, das heute meistgenutzte Verfahren, führt zwei Arten von Durchschnittswerten mit. Der eine wirkt wie Schwung und glättet zappelige Richtungswechsel. Der andere passt die Schrittweite für jede einzelne Stellschraube separat an. Das kostet zusätzlichen Speicher, spart aber viele Trainingsschritte ein.

Wo der Begriff in Modellberichten und Werkzeugen auftaucht

Wer selbst mit KI-Bibliotheken wie PyTorch arbeitet, trifft den Begriff sofort. Dort schreibt man wörtlich eine Zeile, die einen Optimizer erzeugt und ihm die Lernrate mitgibt. In Kursen und Tutorials ist das oft die dritte oder vierte Zeile Code. Auch fertige Trainingsdienste in der Cloud lassen einen genau diese Einstellung wählen.

In den technischen Berichten zu neuen Modellen steht meist ein eigener Absatz dazu. Dort wird genannt, welches Verfahren benutzt wurde und mit welcher Lernrate. Solche Angaben sind wichtig, weil andere Forschungsgruppen das Ergebnis nachbauen wollen. Fehlen sie, gilt ein Bericht als unvollständig.

Ein häufiger Irrtum ist, den Optimizer mit dem Modell selbst zu verwechseln. Er ist kein Teil des fertigen Produkts. Sobald das Training beendet ist, wird er weggeworfen. Der Chatbot auf dem Handy benutzt keinen Optimizer mehr, sondern nur noch die fertigen Zahlen. Auch mit der Optimierung von Antwortgeschwindigkeit hat er trotz des Namens nichts zu tun.