Muon

Ein KI-Modell besteht aus vielen Milliarden Zahlen, den sogenannten Gewichten. Beim Training werden diese Zahlen immer wieder ein Stück verändert, bis das Modell gute Antworten liefert. Die Regel, nach der diese Änderung berechnet wird, heißt Optimierer. Muon ist ein solcher Optimierer, entwickelt 2024 von Keller Jordan und weiteren Forschern. Er unterscheidet sich von den bisher üblichen Verfahren darin, dass er nicht jede Zahl einzeln betrachtet, sondern ganze Zahlentabellen als Einheit behandelt. Der Name ist ein Kunstwort aus « Momentum Orthogonalized by Newton-Schulz ».

Was ein schnellerer Optimierer an Rechenzeit spart

Das Training großer Sprachmodelle kostet zweistellige Millionenbeträge, oft über Wochen auf tausenden Grafikkarten. Wer die gleiche Modellqualität mit weniger Rechenschritten erreicht, spart direkt Geld und Strom. Genau das verspricht Muon: In veröffentlichten Vergleichen brauchte er für dasselbe Ergebnis rund ein Drittel bis die Hälfte weniger Rechenaufwand als der bisherige Standard. Das ist im Feld der Optimierer ein ungewöhnlich großer Sprung.

Über ein Jahrzehnt lang war ein Verfahren namens Adam praktisch konkurrenzlos. Dutzende angebliche Nachfolger hielten in unabhängigen Tests nicht, was sie versprachen. Muon gehört zu den wenigen, die auch außerhalb des eigenen Labors überzeugten. Das erklärt die Aufmerksamkeit, die der Optimierer in kurzer Zeit bekommen hat.

Wichtig ist die Einordnung: Muon macht Modelle nicht klüger, als sie ihrer Größe nach sein können. Er verkürzt nur den Weg dorthin. Für Unternehmen ist das trotzdem entscheidend, weil sie mit gleichem Budget größere Modelle oder mehr Trainingsdaten verarbeiten können.

Die Idee der ausgeglichenen Zahlentabelle

Die Gewichte eines Modells sind in Tabellen organisiert, sogenannten Matrizen. Ältere Optimierer wie Adam behandeln jeden Eintrag einer solchen Tabelle für sich. Muon dagegen schaut sich die vorgeschlagene Änderung als komplette Tabelle an. Er stellt fest, dass diese Änderung meist sehr ungleichmäßig ist: In wenige Richtungen zeigt sie stark, in viele andere kaum.

Muon gleicht das aus. Er rechnet die Änderungstabelle so um, dass alle Richtungen etwa gleich stark gewichtet sind. Dieser Schritt heißt Orthogonalisierung. Ein Vergleich: Statt einen Text nur an der auffälligsten Stelle zu überarbeiten, verbessert man alle Absätze in ähnlichem Maß. Kleine, aber nützliche Lernrichtungen gehen so nicht unter.

Diese Umrechnung wäre normalerweise sehr teuer. Muon benutzt deshalb ein Näherungsverfahren namens Newton-Schulz-Iteration, das in wenigen Schritten mit einfachen Multiplikationen auskommt. Grafikkarten sind für genau solche Rechnungen gebaut, der Zusatzaufwand bleibt daher gering. Für Teile des Modells, die keine Tabellenform haben, etwa die Wortvektoren am Eingang, wird weiterhin Adam eingesetzt. Muon ist also kein vollständiger Ersatz, sondern ein Werkzeug für den Hauptteil des Netzes.

Von Kaggle-Rekorden zu Kimi K2

Bekannt wurde Muon zuerst über sogenannte Speedrun-Wettbewerbe. Dort versuchen Entwickler, ein kleines Sprachmodell in möglichst kurzer Zeit auf eine feste Qualität zu trainieren. Muon senkte diese Bestzeiten deutlich und verbreitete sich danach schnell in der Forschungsgemeinde.

Den größten Praxistest lieferte das chinesische Unternehmen Moonshot AI. Es trainierte sein Sprachmodell Kimi K2 mit rund einer Billion Parametern und nutzte dafür eine angepasste Variante namens Muon Clip. Damit war belegt, dass das Verfahren auch im ganz großen Maßstab stabil bleibt. Genau daran waren frühere Adam-Alternativen oft gescheitert.

Im Alltag begegnet dir Muon nicht direkt. Der Optimierer arbeitet im Trainingsprozess und ist im fertigen Chatbot nicht mehr enthalten. In Fachnachrichten und Modellberichten taucht der Name aber regelmäßig auf, meist als Hinweis darauf, wie effizient ein Modell entstanden ist.