Mixture-of-Recursions
Mixture-of-Recursions ist ein Bauprinzip für Sprachmodelle, bei dem dieselbe Schicht mehrfach hintereinander durchlaufen wird — und zwar unterschiedlich oft, je nachdem wie schwierig der einzelne Textbaustein ist. Das Modell braucht dadurch weniger Speicher und rechnet bei einfachen Stellen schneller.
Programme, die Texte schreiben oder Fragen beantworten, bestehen im Inneren aus vielen gestapelten Rechenschichten. Der Text wandert von unten nach oben durch diesen Stapel, und jede Schicht hat ihre eigenen gelernten Einstellungen. Mixture-of-Recursions bricht mit diesem Aufbau. Statt vierzig verschiedener Schichten gibt es nur einen kleinen Block, der immer wieder durchlaufen wird. Wie oft er durchlaufen wird, entscheidet das Programm für jeden Textbaustein einzeln. Ein einfaches Wort wie « und » verlässt die Schleife früh, ein schwieriger Fachbegriff dreht mehrere Runden.
Zwei Einsparungen auf einmal
Ein großes Sprachmodell kostet vor allem an zwei Stellen Geld. Erstens braucht es Platz im Speicher der Grafikkarte, weil alle gelernten Einstellungen dort liegen müssen. Zweitens braucht es Rechenzeit für jede einzelne Antwort. Mixture-of-Recursions setzt an beiden Punkten an, und das unterscheidet es von vielen anderen Sparverfahren.
Der Speichervorteil entsteht dadurch, dass es die Schicht nur einmal gibt. Wenn ein Block viermal durchlaufen wird, verhält sich das Modell wie ein vierfach tieferes — belegt aber nur ein Viertel des Platzes. Das ist ein anderer Weg als bei Mixture of Experts, dem bekannteren Sparverfahren. Dort liegen alle Bausteine im Speicher, nur die Rechenzeit sinkt. Bei Mixture-of-Recursions sinkt beides.
Die Rechenzeit sinkt, weil nicht jedes Wort gleich viel Aufwand bekommt. In einem normalen Satz sind die meisten Wörter leicht vorherzusagen. Nach « Guten » folgt fast sicher « Tag » oder « Morgen ». Solche Stellen früh aus der Schleife zu entlassen kostet fast keine Qualität. In veröffentlichten Experimenten erreichten Modelle mit diesem Aufbau bei gleicher Trainingsmenge eine bessere Textqualität als klassisch gebaute Modelle derselben Größe.
Der Router und die Schleife
Herzstück ist ein kleines Zusatznetz, der Router. Es schaut sich einen Textbaustein an und vergibt eine Punktzahl dafür, ob er eine weitere Runde braucht. Fällt die Punktzahl unter eine Schwelle, ist dieser Baustein fertig und wird durchgereicht. Alle anderen laufen erneut in denselben Block. Der Router wird nicht von Hand eingestellt, sondern lernt seine Entscheidungen während des Trainings mit.
Damit das Training funktioniert, braucht es einen Trick. Eine harte Ja-Nein-Entscheidung lässt sich nicht ableiten, und Ableitungen sind die Grundlage jedes Lernvorgangs bei neuronalen Netzen. Deshalb arbeitet der Router mit weichen Gewichten: Ein Ergebnis fließt anteilig ein, statt komplett dazuzugehören oder komplett zu fehlen. So bekommt der Router Rückmeldung darüber, ob seine Einteilung nützlich war.
Ein zweiter Baustein betrifft das Zwischengedächtnis. Sprachmodelle speichern zu jedem bisherigen Wort Zwischenergebnisse, damit sie diese nicht ständig neu berechnen müssen. Bei Mixture-of-Recursions werden diese Zwischenergebnisse nur für die Bausteine angelegt, die noch in der Schleife sind. Das spart zusätzlich Speicher, gerade bei sehr langen Texten. Ein typischer Irrtum ist, das Verfahren mit einem Modell zu verwechseln, das « länger nachdenkt ». Hier geht es nicht um sichtbare Denkschritte in Worten, sondern um wiederholte Rechendurchläufe im Inneren.
Ein Forschungsansatz, noch kein Produkt
Mixture-of-Recursions stammt aus einer Forschungsarbeit von 2025, an der unter anderem Google DeepMind und die KAIST-Universität in Südkorea beteiligt waren. In Meldungen taucht der Begriff meist im Zusammenhang mit der Frage auf, wie KI-Modelle billiger werden können. Er gehört damit in dieselbe Diskussion wie Quantisierung oder Mixture of Experts.
In einem fertigen Produkt wirst du den Namen bisher nicht finden. Kein großer Chatbot wirbt damit, nach diesem Prinzip gebaut zu sein. Interessant ist der Ansatz vor allem für Modelle, die auf Handys oder in Autos laufen sollen. Dort ist der Speicher knapp, und genau dort spielt das Verfahren seine Stärke aus.
Ob sich das Prinzip durchsetzt, ist offen. Wiederholte Durchläufe sind für Grafikkarten unbequemer als ein glatter Stapel von Schichten, weil unterschiedliche Wörter unterschiedlich lange rechnen. Solche Ungleichverteilungen bremsen in der Praxis oft mehr, als die Theorie erwarten lässt. Als Leser lohnt es sich, den Begriff als Beispiel für einen ganzen Trend zu lesen: Die Branche sucht nicht mehr nur nach größeren, sondern nach sparsameren Modellen.