Sparse-Architektur

Ein KI-Modell besteht aus vielen Milliarden kleiner Rechengrößen, den sogenannten Parametern. Sie sind das, was das Modell beim Lernen aus Beispieltexten abgespeichert hat. Bei einem klassischen Modell werden für jede Anfrage alle diese Größen durchgerechnet. Eine Sparse-Architektur macht es anders: Sie schaltet pro Anfrage nur einen kleinen Ausschnitt des Modells ein, der Rest bleibt untätig. « Sparse » ist Englisch und heißt « dünn besetzt » — gemeint ist, dass in einem Rechendurchgang die meisten Stellen des Modells auf null stehen. Das Gegenstück nennt man « dense », also dicht besetzt: dort ist immer alles aktiv.

Warum große Modelle sonst unbezahlbar wären

Bei dichten Modellen hängen Größe und Kosten fest zusammen. Verdoppelt man die Zahl der Parameter, verdoppelt sich ungefähr der Rechenaufwand pro Antwort. Größere Modelle sind zwar meist klüger, aber eben auch entsprechend teurer im Betrieb. Genau an dieser Kopplung sägt die Sparse-Architektur.

Sie trennt zwei Dinge, die vorher untrennbar wirkten: das gespeicherte Wissen und den Aufwand pro Antwort. Ein Modell darf sehr viel Wissen enthalten, ohne dass jede einzelne Frage dieses Wissen komplett abklappern muss. Manche aktuellen Modelle haben mehrere hundert Milliarden Parameter, aktivieren pro Wort aber nur einige Milliarden davon. Der Rechenaufwand liegt dann bei einem Bruchteil dessen, was die Gesamtgröße vermuten ließe.

Für Firmen ist das der Unterschied zwischen einem Forschungsprojekt und einem Produkt. Ein Chatbot mit Millionen Nutzern kostet bei jeder Antwort erneut Strom und Rechenzeit. Dass moderne KI-Dienste oft gratis oder für wenige Euro im Monat nutzbar sind, hängt direkt an solchen Spartricks.

Der Router entscheidet, wer rechnen darf

Die bekannteste Bauform heißt Mixture of Experts, kurz MoE. Das Modell wird dabei in viele parallele Teilnetze zerlegt, die man Experten nennt. Ein kleines Zusatznetz, der Router, sucht für jedes Wort ein oder zwei passende Experten aus. Nur diese rechnen, alle anderen bleiben stehen.

Wichtig ist: Niemand legt von Hand fest, wofür ein Experte zuständig ist. Der Router wird zusammen mit dem restlichen Modell trainiert und entwickelt seine Aufteilung selbst. Welche Muster ein einzelner Experte am Ende abdeckt, lässt sich oft gar nicht sauber benennen. Es gibt noch andere Formen von Sparsity, etwa das nachträgliche Entfernen unwichtiger Verbindungen, das sogenannte Pruning.

Der Ansatz hat einen Haken, den man kennen sollte. Alle Experten müssen trotzdem gleichzeitig im Speicher der Grafikkarten liegen, auch die gerade untätigen. Gespart wird Rechenzeit, nicht Speicherplatz. Und wenn der Router ungeschickt verteilt, sind einzelne Experten dauernd überlastet, während andere kaum etwas lernen.

Woran man sparse Modelle in den News erkennt

In Ankündigungen von Modellen tauchen inzwischen fast immer zwei Zahlen auf. Erst die Gesamtzahl der Parameter, dann die Zahl der « aktiven » Parameter. Steht dort etwa « 400 Milliarden gesamt, 17 Milliarden aktiv », handelt es sich um eine Sparse-Architektur. Die zweite Zahl sagt mehr über Tempo und Kosten aus als die erste.

Große Modellfamilien von Mistral, Google, DeepSeek und Meta setzen auf dieses Prinzip. Auch bei den Spitzenmodellen von OpenAI wird es allgemein angenommen, offiziell bestätigt ist es dort nicht. Ein häufiger Irrtum in Diskussionen: Sparse heißt nicht, dass das Modell weniger kann. Es rechnet nur gezielter.

Bemerkbar macht sich das im Alltag indirekt. Antworten kommen schneller, und leistungsfähige Modelle laufen auf weniger Hardware. Wer eine kleinere KI lokal auf dem eigenen Rechner ausprobiert, profitiert ebenfalls davon. Sparse-Architekturen sind einer der Gründe, warum brauchbare KI nicht mehr nur in riesigen Rechenzentren möglich ist.