Outer Loop

Viele Verfahren in der Künstlichen Intelligenz wiederholen einen Ablauf sehr oft. Solche Wiederholungen nennt man Schleifen. Wenn zwei Schleifen ineinander stecken, unterscheidet man die innere und die äußere. Die äußere heißt Outer Loop, die innere Inner Loop. Die innere Schleife übt dabei die eigentliche Aufgabe, sehr schnell und sehr oft. Die äußere Schleife beobachtet das Ergebnis und verändert die Bedingungen, unter denen geübt wird. Ein Vergleich: Ein Schüler löst Aufgaben, das ist die innere Schleife. Der Lehrer prüft danach, welche Art von Aufgaben überhaupt sinnvoll ist, und stellt den Lernplan um. Das ist die äußere Schleife.

Wieso die äußere Schleife über den Erfolg entscheidet

In der inneren Schleife lässt sich meist nur wenig verbessern. Sie folgt einer festen Vorschrift und wiederholt sie tausendfach. Alle wirklich wichtigen Entscheidungen fallen in der äußeren Schleife. Dort wird zum Beispiel festgelegt, wie stark ein Modell pro Schritt lernt, wie groß es ist oder mit welchen Daten es arbeitet. Solche Vorgaben nennt man Hyperparameter, weil sie über dem eigentlichen Lernen stehen.

Das erklärt auch, warum die äußere Schleife so teuer ist. Jeder einzelne Durchlauf enthält ein komplettes Training. Wer zwanzig Varianten ausprobiert, trainiert zwanzig Modelle. Bei großen Sprachmodellen kostet ein Durchlauf Millionen. Deshalb testen Forschungsteams neue Ideen zuerst an kleinen Modellen und übertragen die Erkenntnis erst danach auf das große.

Ein häufiger Irrtum ist, den Outer Loop mit einer bloßen Wiederholung des Trainings zu verwechseln. Entscheidend ist der Unterschied in der Aufgabe. Der Inner Loop verbessert eine Lösung. Der Outer Loop verbessert die Methode, mit der Lösungen gefunden werden.

Was in einem Durchlauf der äußeren Schleife passiert

Ein Durchlauf hat immer drei Teile. Zuerst legt die äußere Schleife die Bedingungen fest, etwa eine Modellgröße oder eine Lernrate. Dann läuft die innere Schleife vollständig durch und liefert ein trainiertes Modell. Zuletzt wird dieses Modell an Daten gemessen, die es beim Training nicht gesehen hat. Das Ergebnis ist eine einzige Zahl, zum Beispiel die Trefferquote.

Mit dieser Zahl beginnt der nächste Durchlauf. Früher probierte man Bedingungen einfach zufällig aus. Heute nutzt man Suchverfahren, die aus den bisherigen Ergebnissen schätzen, welche Einstellung als nächste lohnt. Auch evolutionäre Verfahren sind verbreitet: Sie behalten die besten Varianten und verändern sie leicht, ähnlich wie bei der Zucht von Pflanzen.

Besonders interessant wird es, wenn die äußere Schleife nicht nur Zahlen einstellt, sondern das Lernverfahren selbst entwirft. Das nennt man Meta-Lernen, also Lernen über das Lernen. Ein System sucht dann selbst nach guten Trainingsregeln oder Netzstrukturen. Der Aufwand ist enorm, doch einige heute verbreitete Bausteine großer Modelle wurden so gefunden.

Vom Trainingscluster bis zum Alltag von Entwicklern

In Meldungen über KI-Labore taucht der Outer Loop meist dann auf, wenn es um Rechenkosten geht. Sätze wie „wir haben den Outer Loop verkürzt“ bedeuten: Es wurden weniger Testläufe gebraucht, um eine gute Konfiguration zu finden. Für Anleger ist das relevant, weil hier ein großer Teil der Ausgaben für Grafikchips entsteht.

Auch bei KI-Agenten hört man den Begriff. Ein Agent ist ein Programm, das mehrere Schritte selbst plant. Sein Inner Loop ist die einzelne Antwort des Sprachmodells. Der Outer Loop prüft, ob das Ziel erreicht ist, und startet sonst einen neuen Versuch mit zusätzlichen Informationen.

In der Softwareentwicklung hat der Begriff eine zweite, verwandte Bedeutung. Der Inner Loop ist dort das Schreiben und sofortige Ausprobieren von Code, also Sekunden bis Minuten. Der Outer Loop umfasst automatische Tests, Freigaben und die Auslieferung an Nutzer, oft Stunden. Wer die Wartezeit dieser äußeren Schleife senkt, macht ein Team schneller als jede neue Programmiersprache.