Sparse FP8
Sparse FP8 ist eine Technik, mit der KI-Modelle schneller und sparsamer rechnen: Zahlen werden grob gerundet gespeichert, und ein großer Teil davon wird beim Rechnen komplett übersprungen. Das senkt den Energieverbrauch und die Kosten beim Betrieb großer Sprachmodelle erheblich.
In einem KI-Modell stecken Milliarden von Zahlen, sogenannte Parameter. Je mehr Nachkommastellen man für jede Zahl speichert, desto genauer, aber auch teurer ist die Berechnung. FP8 ist ein Format, das Zahlen auf acht Bits — also acht Einsen oder Nullen — zusammenschrumpft. Zum Vergleich: Ältere Standardformate nutzen 16 oder 32 Bits pro Zahl. Zusätzlich kommt die „Sparse“-Eigenschaft ins Spiel: Bei Sparsity, auf Deutsch Dünnbesetztheit, werden Werte, die nahe null liegen, einfach als null behandelt und beim Rechnen übersprungen. Sparse FP8 kombiniert beides — grobe Zahlen plus gezieltes Überspringen — in einer einzigen Methode.
Was Sparse FP8 für KI-Kosten bedeutet
KI-Modelle werden nicht nur einmal trainiert — sie antworten danach Millionen Mal täglich auf Anfragen. Jede Antwort kostet Rechenzeit und damit Strom. Wer einen Chatbot betreibt, zahlt für jede einzelne Ausgabe. Bei großen Anbietern summiert sich das zu enormen Beträgen.
Sparse FP8 greift an zwei Stellen gleichzeitig ein. Kleinere Zahlen bedeuten weniger Datentransfer zwischen Speicher und Recheneinheit — das ist oft der eigentliche Flaschenhals. Und das Überspringen von Nullen bedeutet weniger Rechenoperationen. Nvidia gibt für seine Blackwell-Chips an, dass Sparse FP8 gegenüber herkömmlichen Formaten bis zu viermal so viel Rechenleistung ermöglichen kann. Selbst wenn der Alltag etwas darunter liegt, ist das ein erheblicher Hebel.
Ein verbreiteter Irrtum ist, dass günstigere Berechnung automatisch schlechtere Ergebnisse liefert. Das stimmt nicht zwingend. Viele Werte in einem Modell sind ohnehin so klein, dass sie kaum etwas zur Antwort beitragen. Sie wegzulassen oder grob zu runden macht die Ausgabe kaum schlechter — spart aber erheblich Ressourcen.
Wie die Kombination aus Kürzen und Überspringen funktioniert
FP8 steht für „8-Bit Floating Point“, also eine Gleitkommazahl mit acht Bits. Normale Gleitkommazahlen im FP32-Format haben 32 Bits und können sehr feine Unterschiede abbilden. FP8 verzichtet auf diese Feinheit. Das ist ein bewusster Kompromiss: Man nimmt einen kleinen Genauigkeitsverlust in Kauf, um Speicher und Rechenzeit zu sparen.
Die Sparsity-Seite funktioniert so: In einem typischen neuronalen Netz — also einem Netz aus vielen Schichten, das aus Beispielen lernt — sind nach dem Training viele Verbindungen schwach. Ihr Gewicht, also ihr Einfluss auf das Ergebnis, liegt nahe null. Die Hardware kann so gebaut werden, dass sie solche Nullen erkennt und den entsprechenden Rechenschritt überspringt. Bei 50 Prozent Sparsity — dem gängigen Zielwert — wird jeder zweite Wert übersprungen, was die Rechenoperationen halbiert.
Damit das funktioniert, müssen drei Dinge zusammenpassen: das Modell muss tatsächlich genug Nullen enthalten, das Datenformat muss FP8 unterstützen, und die Hardware muss mit strukturierter Sparsity umgehen können. Nvidias aktuelle Grafikprozessoren der Hopper- und Blackwell-Generation sind genau dafür ausgelegt. Ohne passende Hardware bringt das Format keinen Vorteil.
Sparse FP8 in aktuellen Modellen und Chips
Sparse FP8 taucht vor allem in Berichten über neue Chip-Generationen und große Sprachmodelle auf. Wenn Nvidia einen neuen Grafikprozessor vorstellt, nennt das Unternehmen fast immer einen Spitzenrechenwert in FP8 — dieser Wert setzt Sparsity bereits voraus. Ohne diesen Hinweis wäre die Zahl deutlich kleiner. Es lohnt sich also, beim Lesen von Chip-Benchmarks genau hinzuschauen, welches Format und welche Sparsity-Stufe angegeben werden.
Auch beim Training großer Modelle wird FP8 zunehmend eingesetzt, nicht nur beim späteren Betrieb. Meta und Google haben öffentlich beschrieben, dass sie Teile des Trainings ihrer Modelle in FP8 durchgeführt haben, um Kosten zu senken. Das war lange undenkbar, weil zu viel Genauigkeit verloren schien — inzwischen haben Forscher Techniken entwickelt, die den Verlust beherrschbar machen.
Im Alltag begegnet einem Sparse FP8 nicht direkt — man sieht es nicht, wenn man einen Chatbot benutzt. Es wirkt im Hintergrund: als einer der Gründe, warum KI-Antworten schneller kommen und Anbieter ihre Dienste nicht noch teurer machen müssen, als sie ohnehin schon sind.