MXFP8
MXFP8 ist ein sehr sparsames Zahlenformat für KI-Chips: Jede Zahl belegt nur 8 statt 32 Bit, und jeweils 32 benachbarte Zahlen teilen sich einen gemeinsamen Skalierungsfaktor. Dadurch passen KI-Modelle in weniger Speicher und rechnen deutlich schneller, ohne spürbar an Genauigkeit zu verlieren.
Ein KI-Modell besteht im Kern aus Milliarden von Zahlen. Diese Zahlen muss ein Computer speichern, und dafür braucht er Platz. Wie viel Platz eine einzelne Zahl belegt, legt das sogenannte Zahlenformat fest. MXFP8 ist ein besonders sparsames Format: Jede Zahl belegt darin nur acht Bit, also acht winzige Speicherzellen, die je eine Null oder eine Eins enthalten. Zum Vergleich: Das klassische Format für solche Berechnungen braucht 32 Bit pro Zahl, also viermal so viel. Das « MX » im Namen steht für Microscaling und bezeichnet einen Trick, mit dem das Format trotz der wenigen Bits erstaunlich genau bleibt.
Warum acht Bit statt 32 den Ausschlag geben
Der Speicher moderner KI-Chips ist knapp und teuer. Ein großes Sprachmodell mit hunderten Milliarden Zahlen passt im 32-Bit-Format auf keine einzelne Grafikkarte. Halbiert man die Bits pro Zahl, halbiert sich auch der Platzbedarf. Bei MXFP8 schrumpft er auf ein Viertel. Modelle, die vorher zwanzig Chips brauchten, laufen dann auf fünf.
Der zweite Gewinn ist Tempo. Chips wie Nvidias Blackwell-Generation haben eigene Recheneinheiten für Acht-Bit-Zahlen eingebaut. Diese Einheiten schaffen pro Sekunde ungefähr doppelt so viele Rechenoperationen wie die für 16-Bit-Zahlen. Für Firmen bedeutet das direkt Geld: Ein Trainingslauf, der sonst drei Monate dauert, ist womöglich in sechs Wochen fertig.
Interessant ist MXFP8 vor allem deshalb, weil es nicht nur beim Benutzen des fertigen Modells funktioniert. Frühere Acht-Bit-Formate taugten meist nur für den laufenden Betrieb. Beim Training selbst waren sie zu ungenau, das Modell lernte schlechter oder gar nicht. MXFP8 ist genau genug, um auch das Training damit durchzuziehen.
Der gemeinsame Skalierungsfaktor pro Block
Mit acht Bit lassen sich nur 256 verschiedene Werte darstellen. Das ist wenig. Die Zahlen in einem KI-Modell reichen aber von winzig klein bis ziemlich groß. Presst man sie alle in dieselben 256 Stufen, werden die kleinen Werte auf Null gerundet und gehen verloren. Genau hier setzt Microscaling an.
MXFP8 teilt die Zahlen in Blöcke zu je 32 Stück auf. Jeder Block bekommt einen eigenen gemeinsamen Skalierungsfaktor, der zusätzlich gespeichert wird. Die acht Bit einer Zahl beschreiben also nicht den Wert direkt, sondern ihr Verhältnis zu diesem Blockfaktor. Man kann sich das wie einen Maßstab auf einer Landkarte vorstellen: Dieselben Zentimeter bedeuten mal Kilometer, mal Meter, je nachdem, was daneben steht.
Der Vorteil: Ein Block mit lauter kleinen Zahlen bekommt einen kleinen Maßstab und behält seine feinen Unterschiede. Ein Block mit großen Zahlen bekommt einen großen. Der Zusatzaufwand ist gering, denn ein Faktor reicht für 32 Zahlen. Rechnerisch kostet das im Schnitt weniger als ein zusätzliches Bit pro Zahl. Ein verwandtes Format heißt MXFP4 und nutzt nur vier Bit pro Zahl. Es ist noch sparsamer, aber merklich ungenauer und eignet sich bisher kaum fürs Training.
MXFP8 in Chip-Ankündigungen und Modell-Berichten
Im Alltag sieht man MXFP8 nie direkt. Es steckt unter der Oberfläche jedes Chatbots und jeder Bildgenerierung, die auf moderner Hardware läuft. Bemerkbar macht es sich nur indirekt, etwa durch kürzere Wartezeiten oder günstigere Preise für die Nutzung von KI-Diensten.
In den Nachrichten taucht der Begriff dagegen regelmäßig auf. Chiphersteller nennen bei neuen Prozessoren gern Leistungsangaben wie « 20 Petaflops in FP8 ». Solche Zahlen beziehen sich auf Acht-Bit-Formate wie MXFP8 und wirken deshalb beeindruckender als Angaben in 16 oder 32 Bit. Beim Vergleich zweier Chips lohnt sich also der Blick darauf, welches Format gemeint ist.
Ein häufiger Irrtum ist, MXFP8 mache Modelle grundsätzlich dümmer. Bei sorgfältiger Umsetzung liegt der Qualitätsverlust im Bereich weniger Zehntelprozent und ist in Tests kaum messbar. Das Format ist zudem kein Alleingang einer Firma: Es wurde von einem Konsortium aus Nvidia, AMD, Intel, Microsoft, Meta und anderen als offener Standard festgelegt. Deshalb findet man es inzwischen bei Hardware ganz unterschiedlicher Hersteller.