FP8-Präzision

Ein KI-Modell besteht im Kern aus riesigen Mengen von Zahlen. Diese Zahlen müssen im Speicher eines Computers abgelegt werden, und dafür gibt es unterschiedlich sparsame Formate. FP8 ist ein besonders sparsames Format: Jede einzelne Zahl belegt nur acht Bit, also acht Nullen oder Einsen. Zum Vergleich: Lange war es üblich, jede Zahl mit zweiunddreißig Bit zu speichern, später mit sechzehn. Der Buchstabe FP steht für « floating point », also Gleitkomma — ein Format, das sowohl sehr kleine als auch sehr große Zahlen darstellen kann. Der Preis für die Sparsamkeit ist Genauigkeit: In acht Bit passen nur rund 256 verschiedene Werte.

Warum acht Bit über Kosten und Tempo entscheiden

Große KI-Modelle scheitern in der Praxis fast nie an der Rechenleistung allein. Sie scheitern daran, dass die Zahlen nicht in den Speicher der Grafikkarten passen. Ein Modell mit 70 Milliarden Zahlen belegt in 16-Bit-Format rund 140 Gigabyte. In FP8 sind es nur noch etwa 70 Gigabyte. Damit passt es plötzlich auf eine einzelne Maschine statt auf zwei.

Der zweite Gewinn ist Tempo. Der Weg vom Speicher zum Rechenwerk ist bei KI-Berechnungen oft der Flaschenhals. Halb so große Zahlen bedeuten, dass in derselben Zeit doppelt so viele davon transportiert werden. Moderne Chips besitzen zudem Schaltungen, die speziell für 8-Bit-Zahlen gebaut sind und diese deutlich schneller verrechnen als 16-Bit-Zahlen.

Für Unternehmen ist das direkt Geld. Wer einen Chatbot betreibt, zahlt für jede Antwort Strom und Rechenzeit. Mehrere große Modelle der letzten Jahre wurden bereits vollständig in FP8 trainiert, darunter Modelle von DeepSeek. Die Betreiber berichteten dabei von deutlichen Einsparungen bei den Trainingskosten.

Wie man mit 256 Werten auskommt

Eine Gleitkommazahl besteht aus zwei Teilen. Ein Teil legt die Größenordnung fest, also ob es um Tausendstel oder um Millionen geht. Der andere Teil legt die genauen Nachkommastellen fest. Bei FP8 gibt es zwei gebräuchliche Aufteilungen dieser acht Bit. Die eine Variante opfert Nachkommastellen zugunsten der Größenordnung, die andere umgekehrt.

Man kann sich das wie ein Lineal vorstellen, auf dem nur 256 Striche Platz haben. Liegen alle gemessenen Werte nah beieinander, ist die Skala fein genug. Liegt ein einziger Ausreißer weit außerhalb, muss man das Lineal dehnen, und alle anderen Werte verlieren an Auflösung. Genau dieses Problem tritt in KI-Modellen ständig auf.

Die Lösung heißt Skalierung. Vor der Rechnung werden die Zahlen einer Gruppe mit einem gemeinsamen Faktor multipliziert, damit sie den verfügbaren Wertebereich gut ausfüllen. Nach der Rechnung wird der Faktor herausgerechnet. Zusätzlich lässt man empfindliche Teile des Modells bewusst in 16 Bit laufen. Ein verbreiteter Irrtum ist, FP8 ersetze alle anderen Formate — in der Praxis ist es fast immer eine Mischung.

FP8 in Chip-Ankündigungen und Modell-Datenblättern

Am häufigsten begegnet der Begriff in Nachrichten über Grafikkarten und KI-Chips. Wenn Nvidia oder AMD eine neue Generation vorstellen, nennen sie Leistungszahlen meist getrennt für verschiedene Formate. Die spektakulärsten Werte stehen dabei fast immer neben FP8 oder noch kleineren Formaten. Wer solche Zahlen vergleicht, sollte prüfen, ob dasselbe Format gemeint ist.

Auch in den technischen Beschreibungen frei verfügbarer Modelle taucht FP8 auf. Anbieter stellen ihre Modelle oft in mehreren Fassungen bereit, etwa in 16 Bit und in FP8. Die kleinere Fassung läuft auf günstigerer Hardware, liefert aber minimal andere Ergebnisse.

Abzugrenzen ist FP8 von Formaten wie INT8 oder INT4. Diese arbeiten mit ganzen Zahlen ohne Größenordnungsteil und werden meist erst nachträglich auf ein fertiges Modell angewendet. FP8 ist dagegen präzise genug, um schon beim Training selbst verwendet zu werden. Das ist der entscheidende Unterschied, der das Format seit etwa 2023 so wichtig gemacht hat.