Looped Transformer

Ein Looped Transformer ist ein KI-Sprachmodell mit einer ungewöhnlichen Eigenschaft: Seine inneren Bausteine — die Schichten, die Text verarbeiten — werden nicht einmal durchlaufen, sondern mehrfach, wie eine Schleife. Das klingt simpel, hat aber große Konsequenzen. Ein normales Sprachmodell stapelt viele verschiedene Schichten übereinander, jede mit eigenen Einstellungen. Ein Looped Transformer nimmt stattdessen eine kleinere Gruppe von Schichten und lässt die Daten immer wieder durch dieselbe Gruppe laufen. Das Modell ist dadurch kompakter gebaut, denkt aber trotzdem in vielen Schritten.

Weniger Bausteine, mehr Tiefe

Die Größe eines KI-Modells wird oft in Parametern gemessen — das sind die Zahlenwerte, die das Modell beim Training lernt und die sein Wissen speichern. Je mehr Parameter, desto mehr Speicher und Rechenleistung braucht das Modell. Ein Looped Transformer hat für eine gegebene Verarbeitungstiefe deutlich weniger Parameter als ein gleichwertiges normales Modell, weil er dieselben Schichten mehrfach nutzt statt neue hinzuzufügen.

Das ist kein bloßes Einsparen auf Kosten der Qualität. Studien zeigen, dass Looped Transformer bei bestimmten Aufgaben, etwa logischem Schlussfolgern, ähnlich gut abschneiden wie klassische Modelle mit mehr Parametern. Der Grund: Durch das wiederholte Durchlaufen derselben Schichten kann das Modell schrittweise verfeinern — fast wie ein Mensch, der eine schwierige Aufgabe mehrfach überdenkt, bevor er antwortet.

Wie die Schleife das Denken vertieft

In einem klassischen Transformer — dem Grundbaustein hinter Modellen wie GPT — werden die Textdaten durch eine feste Folge von Schichten geleitet, einmal von oben nach unten. Jede Schicht verändert die interne Darstellung des Textes leicht weiter. Am Ende steht eine Ausgabe. Die Tiefe des Denkens hängt direkt davon ab, wie viele verschiedene Schichten eingebaut sind.

Ein Looped Transformer trennt diese beiden Dinge: Tiefe und Parameteranzahl. Er nimmt einen Block aus zum Beispiel acht Schichten und lässt die Daten fünfmal durch diesen Block laufen — das entspricht der Rechenleistung von 40 Schichten, aber nur mit dem Speicherbedarf von acht. Bei jedem Durchlauf weiß das Modell, in welcher Runde es sich befindet. Diese Information wird als zusätzliches Signal mitgegeben, damit die Schichten ihr Verhalten je nach Durchlauf anpassen können.

Ein häufiger Irrtum ist, das Verfahren mit dem bloßen Wiederholen derselben Berechnung zu verwechseln — das würde tatsächlich nichts bringen. Der Unterschied liegt darin, dass die Ausgabe eines Durchlaufs als Eingabe des nächsten dient. Das Modell baut also tatsächlich auf seinen eigenen Zwischenergebnissen auf und verfeinert sie schrittweise.

Looped Transformer in aktuellen Modellen und Forschung

Das Konzept taucht vor allem in der Forschung zu effizienten Modellen auf — also Modellen, die mit wenig Ressourcen möglichst viel leisten. Microsoft Research hat Looped Transformer zum Beispiel als Grundlage für Teile der Phi-Modellfamilie untersucht, eine Reihe von kompakten Sprachmodellen, die trotz geringer Größe überraschend starke Ergebnisse liefern.

In der Praxis ist das besonders relevant für Geräte mit begrenztem Speicher: Smartphones, Tablets oder eingebettete Systeme, die kein Rechenzentrum im Rücken haben. Ein Modell, das 40 Schichten an Rechenarbeit in 8 gespeicherten Schichten unterbringt, lässt sich leichter auf solche Geräte portieren.

In der Forschungsliteratur werden Looped Transformer auch als Argument dafür genutzt, dass KI-Modelle grundsätzlich mehr von mehr Rechenzeit profitieren könnten — unabhängig davon, wie viele Parameter sie haben. Das berührt ein größeres Thema der aktuellen KI-Forschung: die Frage, ob es sinnvoller ist, Modelle breiter (mehr Parameter) oder tiefer (mehr Rechenschritte) zu bauen.