Sparsity

Ein KI-Modell besteht im Kern aus riesigen Zahlentabellen. Diese Zahlen werden bei jeder Anfrage millionenfach miteinander multipliziert und addiert. Sparsity beschreibt den Zustand, dass ein großer Teil dieser Zahlen null ist. Multiplikationen mit null ergeben immer null, also kann man sie überspringen. Das Gegenteil nennt man dicht besetzt: dort ist fast jede Zahl von null verschieden, und jede muss tatsächlich berechnet werden. Der Begriff meint aber auch eine zweite Sache, nämlich dass pro Anfrage nur ein kleiner Teil des Modells überhaupt eingeschaltet wird.

Warum Nullen Geld sparen

Der Betrieb großer KI-Modelle kostet vor allem eines: Rechenzeit auf spezialisierten Chips. Diese Chips sind teuer, knapp und verbrauchen viel Strom. Jede eingesparte Rechenoperation senkt also direkt die Kosten pro Antwort. Bei Systemen mit Millionen Nutzern summiert sich das zu Beträgen in Millionenhöhe.

Dazu kommt der Speicher. Eine Tabelle, in der neun von zehn Einträgen null sind, muss man nicht vollständig ablegen. Es reicht, die von null verschiedenen Werte zu speichern und dazu ihre Positionen. Das ist wie ein Stundenplan, in dem man nur die belegten Stunden notiert statt jedes leere Feld. So passen Modelle auf Geräte, die sonst zu klein wären.

Ein Grund für die Begeisterung ist die Beobachtung, dass Sparsity oft kaum schadet. Große Modelle enthalten viel Überflüssiges. Man kann einen erheblichen Teil der Verbindungen entfernen, ohne dass die Antworten merklich schlechter werden. Manchmal wird das Modell dadurch sogar stabiler, weil es weniger dazu neigt, Trainingsbeispiele auswendig zu lernen.

Wie Modelle dünn besetzt werden

Der einfachste Weg heißt Pruning, auf Deutsch Beschneiden. Man trainiert zunächst ein normales, dicht besetztes Modell. Danach sucht man die Zahlen mit den kleinsten Beträgen und setzt sie auf null. Anschließend trainiert man kurz nach, damit sich der Rest an die Lücken anpasst. Das Bild vom Zurückschneiden eines Baumes passt gut: die dünnen Zweige fallen weg, die tragenden Äste bleiben.

Die zweite Form arbeitet nicht mit Nullen, sondern mit Schaltern. Bei einem Mixture-of-Experts-Modell ist das Netz in viele Teilnetze zerlegt, die man Experten nennt. Ein kleines Zusatznetz entscheidet für jedes Wort, welche zwei oder vier Experten antworten dürfen. Alle anderen bleiben still. Ein solches Modell kann Hunderte Milliarden Parameter besitzen und trotzdem so schnell rechnen wie ein viel kleineres.

Es gibt einen Haken, den man leicht übersieht. Zufällig verteilte Nullen bringen auf echter Hardware wenig, weil die Chips in festen Blöcken rechnen. Deshalb verlangen moderne Grafikkarten strukturierte Muster, etwa genau zwei Nullen in jeder Vierergruppe. Und beim Experten-Ansatz muss das gesamte Modell im Speicher liegen, auch die gerade untätigen Teile. Gespart wird Rechenzeit, nicht Platz.

Sparsity in Produkten und Schlagzeilen

In Meldungen über neue KI-Modelle stehen häufig zwei Parameterzahlen nebeneinander. Angegeben werden die Gesamtzahl und die Zahl der aktiven Parameter pro Anfrage. Liegt die zweite Zahl weit unter der ersten, steckt Sparsity dahinter. Genau dieses Prinzip erklärte einen Teil der niedrigen Trainings- und Betriebskosten, mit denen chinesische Anbieter 2025 für Aufsehen sorgten.

Auch auf dem eigenen Handy begegnet einem der Effekt. Sprachassistenten, Übersetzungs- und Kamerafunktionen laufen zunehmend direkt auf dem Gerät. Möglich wird das durch beschnittene Modelle, die zusammen mit gröber gespeicherten Zahlen nur einen Bruchteil des Speichers brauchen. Ohne solche Verfahren müssten diese Anfragen an ein Rechenzentrum gehen.

Für Anleger und Beobachter ist Sparsity deshalb ein Stichwort mit wirtschaftlicher Bedeutung. Es entscheidet mit, ob ein Anbieter seine Modelle profitabel betreiben kann. Ein verbreiteter Irrtum ist allerdings, Sparsity mache Modelle grundsätzlich kleiner. Sie macht sie vor allem billiger im Betrieb, während die Modelle als Ganzes weiter wachsen.