FP4
FP4 ist ein extrem sparsames Zahlenformat, das jede Zahl in einem KI-Modell mit nur vier Bits speichert. Dadurch brauchen Modelle deutlich weniger Speicher und rechnen schneller — allerdings auf Kosten der Genauigkeit.
Ein Computer speichert jede Zahl als Folge von Nullen und Einsen. Eine einzelne dieser Stellen heißt Bit. Je mehr Bits eine Zahl bekommt, desto genauer lässt sie sich festhalten. FP4 ist ein Zahlenformat, das mit nur vier Bits pro Zahl auskommt. Damit sind nur 16 verschiedene Werte darstellbar. Üblich waren bei KI-Systemen lange 16 oder 32 Bit pro Zahl. FP4 ist also ein sehr grobes Raster — bewusst gewählt, um Platz und Rechenzeit zu sparen.
Warum das wichtig ist
Große Sprachmodelle bestehen aus Milliarden von Zahlen, den sogenannten Parametern. Diese Zahlen sind das, was das Modell beim Lernen aufgenommen hat. Sie müssen alle in den Speicher der Grafikkarten passen, damit das Modell antworten kann. Dieser Speicher ist teuer und knapp.
Halbiert man die Bits pro Zahl, halbiert sich auch der Speicherbedarf. Ein Modell, das in 8 Bit noch zwei Grafikkarten braucht, passt in FP4 auf eine. Zusätzlich lassen sich kleinere Zahlen schneller verrechnen. Für Firmen, die Millionen Anfragen pro Tag beantworten, sind das direkt gesparte Stromkosten. Genau deshalb ist FP4 zu einem Verkaufsargument für neue Rechenchips geworden.
Wie es funktioniert
Der Trick heißt Skalierung. Vier Bits allein reichen nur für 16 Stufen, etwa von minus sechs bis plus sechs. Die echten Werte im Modell liegen aber in ganz anderen Größenordnungen. Deshalb wird nicht jede Zahl einzeln umgerechnet, sondern immer eine kleine Gruppe von etwa 16 oder 32 Zahlen zusammen. Für jede Gruppe wird ein Umrechnungsfaktor mitgespeichert, der Skalierungsfaktor.
Man kann sich das wie eine Landkarte vorstellen. Die Karte selbst ist grob gezeichnet, aber ein Maßstab am Rand sagt, wie die Angaben zu lesen sind. Der Maßstab gilt jeweils nur für einen kleinen Kartenausschnitt. So bleiben auch sehr große und sehr kleine Werte brauchbar darstellbar.
Der Preis dafür ist Ungenauigkeit. Jede Zahl wird auf die nächste der 16 Stufen gerundet. Diese kleinen Fehler summieren sich über viele Rechenschritte. Wird ein Modell zu grob umgerechnet, fängt es an, Fakten zu verwechseln oder bei Mathematik zu scheitern. Deshalb bleiben empfindliche Teile des Modells oft in einem genaueren Format. Das nennt man gemischte Präzision. Den Vorgang, ein Modell in ein gröberes Format zu überführen, nennt man Quantisierung.
Wo man dem Begriff begegnet
Am häufigsten in Ankündigungen von Chipherstellern. Nvidia bewirbt seine Blackwell-Generation ausdrücklich damit, dass sie FP4 direkt in der Hardware unterstützt. Die dabei genannten Rekordzahlen zur Rechenleistung beziehen sich meist auf FP4 — mit einem gröberen Format sind höhere Werte leichter zu erreichen. Wer solche Angaben vergleicht, sollte deshalb immer auf das Format achten. AMD und Google verfolgen mit eigenen Chips ähnliche Ansätze.
Auch bei frei verfügbaren Modellen tauchen FP4-Varianten auf. Wer ein Sprachmodell auf einem normalen Gaming-PC laufen lassen will, greift oft zu einer stark quantisierten Version. Sie ist merklich schwächer als das Original, läuft aber überhaupt. In Dateinamen erkennt man das an Kürzeln wie 4bit, NVFP4 oder MXFP4. Und in Quartalsberichten von Rechenzentrumsbetreibern erscheint FP4 indirekt: als Begründung dafür, warum Kosten pro Anfrage sinken.