FP8
FP8 ist ein Zahlenformat, das jede Zahl mit nur acht Bit speichert – also mit acht Ja/Nein-Schaltern. KI-Modelle rechnen damit deutlich schneller und sparsamer als mit den früher üblichen 16 oder 32 Bit, verlieren aber etwas Genauigkeit.
Computer speichern Zahlen als Folge von Nullen und Einsen. Jede dieser Stellen heißt ein Bit. Je mehr Bits eine Zahl bekommt, desto genauer lässt sie sich festhalten – und desto mehr Speicher und Rechenzeit kostet sie. FP8 bedeutet: Für eine Zahl stehen nur acht Bits zur Verfügung. Das „FP“ steht für floating point, also Gleitkomma – ein Verfahren, mit dem sich sowohl sehr kleine als sehr große Zahlen darstellen lassen. Lange rechneten KI-Systeme mit 32 oder 16 Bits pro Zahl; FP8 halbiert das noch einmal.
Acht Bit statt sechzehn: was das an Kosten spart
Ein großes KI-Modell besteht aus vielen Milliarden gespeicherter Zahlen. Diese Zahlen sind das, was das Modell beim Lernen aufgenommen hat. Bei 16 Bits pro Zahl braucht ein Modell mit 70 Milliarden Zahlen rund 140 Gigabyte Speicher. In FP8 sind es nur noch etwa 70 Gigabyte. Damit passt das Modell plötzlich auf halb so viele Grafikkarten.
Der zweite Gewinn ist Geschwindigkeit. Moderne KI-Chips haben Recheneinheiten, die FP8 direkt unterstützen. Sie schaffen darin je nach Chip etwa doppelt so viele Rechenschritte pro Sekunde wie in 16 Bit. Für ein Unternehmen heißt das: dieselbe Antwort kostet weniger Strom und weniger Wartezeit. Bei Millionen Anfragen pro Tag entscheidet das über die Wirtschaftlichkeit eines Produkts.
Es gibt aber einen Preis. Mit acht Bits lassen sich nur rund 256 verschiedene Werte unterscheiden. Feine Abstufungen fallen weg, das Modell rundet also ständig. Wenn man unvorsichtig vorgeht, sinkt die Qualität der Antworten merklich. Die ganze Kunst besteht darin, den Speicher zu halbieren, ohne dass ein Nutzer den Unterschied bemerkt.
Vorzeichen, Exponent, Mantisse – und der Skalierungsfaktor
Eine Gleitkommazahl besteht aus drei Teilen. Ein Bit gibt das Vorzeichen an, also plus oder minus. Eine Gruppe von Bits, der Exponent, legt die Größenordnung fest – ob es um Tausendstel oder um Millionen geht. Der Rest, die Mantisse, enthält die genauen Ziffern. Bei FP8 müssen sich Exponent und Mantisse sieben Bits teilen.
Deshalb gibt es zwei gängige Varianten. E4M3 nimmt vier Bits für den Exponenten und drei für die Mantisse: eher genau, aber mit kleinerem Wertebereich. E5M2 nimmt fünf und zwei: gröber, dafür deckt es sehr große und sehr kleine Zahlen ab. In der Praxis nutzt man beide an unterschiedlichen Stellen desselben Modells.
Damit nichts aus dem Bereich herausfällt, arbeitet man mit Skalierungsfaktoren. Alle Zahlen einer Gruppe werden vor dem Rechnen mit einem gemeinsamen Faktor multipliziert, damit sie in den darstellbaren Bereich rutschen. Danach rechnet man zurück. Sensible Teile des Modells bleiben zudem oft absichtlich in 16 Bit. Dieses Mischen heißt gemischte Genauigkeit und ist heute der Normalfall.
FP8 in Chip-Ankündigungen und Modell-Datenblättern
Wer Nachrichten über KI-Chips liest, stößt fast zwangsläufig auf FP8. Hersteller wie Nvidia oder AMD geben die Leistung ihrer Beschleuniger in Rechenschritten pro Sekunde an – und zwar getrennt für jedes Zahlenformat. Die größten, werbewirksamsten Zahlen stehen dabei meist neben FP8. Wichtig ist deshalb, beim Vergleich zweier Chips immer auf dasselbe Format zu schauen.
Auch bei Modellen selbst wird das Format genannt. Als das chinesische Labor DeepSeek 2024 sein Modell V3 vorstellte, war ein Kernargument, dass bereits das Training in FP8 lief. Das galt als riskant, senkte die Trainingskosten aber erheblich. Vorher nutzten die meisten Labore FP8 nur beim Betrieb des fertigen Modells.
Ein häufiger Irrtum: FP8 sei dasselbe wie Quantisierung auf 8 Bit, wie man sie von INT8 kennt. INT8 speichert nur ganze Zahlen in festen Abständen. FP8 dagegen behält die Gleitkomma-Logik und kommt mit stark unterschiedlichen Größenordnungen besser zurecht. Für KI-Modelle, in denen einzelne Werte weit aus der Reihe tanzen, ist das ein echter Vorteil.