4-Bit Floating Point

Computer speichern jede Zahl als Folge von Nullen und Einsen. Eine solche Stelle heißt Bit, und je mehr Bits man verwendet, desto genauer lässt sich eine Zahl festhalten. 4-Bit Floating Point ist ein Format, das dafür nur vier dieser Stellen benutzt. Damit sind genau 16 verschiedene Werte darstellbar, mehr nicht. Der Zusatz Floating Point bedeutet, dass diese 16 Werte nicht gleichmäßig verteilt sind: Um die Null herum liegen sie dicht beieinander, weiter außen immer weiter auseinander. Das ähnelt einem Lineal, dessen Striche nahe am Nullpunkt fein und am Ende grob sind.

Warum vier Bit plötzlich reichen sollen

Große Sprachmodelle bestehen aus Milliarden von Zahlen, den sogenannten Parametern. Sie enthalten alles, was das Modell im Training gelernt hat. Früher speicherte man jede dieser Zahlen mit 32 Bit, heute oft mit 16 Bit. Wer auf 4 Bit heruntergeht, braucht für dasselbe Modell nur noch ein Viertel bis ein Achtel des Speichers.

Das entscheidet darüber, welche Hardware man überhaupt braucht. Ein Modell mit 70 Milliarden Parametern belegt in 16 Bit rund 140 Gigabyte und passt damit auf keine einzelne Grafikkarte. In 4 Bit sind es etwa 35 Gigabyte, und das läuft auf einem einzigen Beschleuniger. Aus einem Serverschrank wird so ein einzelnes Gerät.

Dazu kommt die Geschwindigkeit. Ein großer Teil der Rechenzeit geht nicht fürs Rechnen selbst drauf, sondern für das Hin- und Herschieben der Zahlen zwischen Speicher und Recheneinheit. Kleinere Zahlen bedeuten weniger Transportaufwand, weniger Wartezeit und weniger Stromverbrauch. Genau deshalb tauchen FP4-Zahlen in fast jeder Ankündigung neuer KI-Chips auf.

Wie man 16 Werte auf Milliarden Parameter verteilt

Die vier Bit teilen sich auf: eines gibt das Vorzeichen an, zwei oder drei bestimmen die Größenordnung, der Rest die Feinabstufung. Ein verbreitetes Format heißt E2M1 und kann Werte wie 0, 0,5, 1, 1,5, 2, 3, 4 und 6 darstellen, jeweils auch negativ. Mehr Zwischenstufen gibt es nicht. Eine gelernte Zahl wie 1,37 wird also auf 1,5 gerundet.

Allein wäre das viel zu grob. Der Trick heißt Skalierung: Man teilt die Parameter in kleine Gruppen, etwa 16 oder 32 Stück, und speichert für jede Gruppe zusätzlich einen genaueren Faktor. Die 4-Bit-Zahl sagt dann nur noch, wie groß der Wert im Verhältnis zu seiner Gruppe ist. So kann jede Gruppe ihren eigenen Maßstab haben, und der Fehler bleibt klein.

Dieses nachträgliche Umrechnen eines fertigen Modells nennt man Quantisierung. Wichtig ist die Abgrenzung zum ähnlich klingenden INT4: Dort sind die 16 Werte gleichmäßig verteilt, bei FP4 nicht. Weil die Zahlen in KI-Modellen meist nahe Null liegen, passt das ungleichmäßige Raster besser. Ein verbreiteter Irrtum ist übrigens, das Modell werde dadurch kleiner im Sinne von dümmer. Es behält alle Parameter, sie sind nur gröber notiert.

FP4 in Chip-Ankündigungen und auf dem eigenen Rechner

Am häufigsten begegnet man dem Format in Produktmeldungen von Chipherstellern. Wenn Nvidia bei der Blackwell-Generation mit einer vervielfachten Leistung wirbt, bezieht sich diese Zahl oft auf FP4-Rechnungen. Vergleicht man sie mit älteren Werten in 16 Bit, klingt der Sprung größer, als er ist. Ein Blick darauf, welches Zahlenformat gemeint ist, lohnt sich bei solchen Angaben immer.

Praktisch spürbar wird die Technik bei Modellen, die auf normaler Hardware laufen sollen. Frei verfügbare Sprachmodelle werden meist in mehreren Genauigkeitsstufen angeboten, und die stark quantisierten Varianten laufen auf einem guten Gaming-PC oder einem aktuellen Laptop. OpenAI veröffentlichte 2025 seine offenen Modelle direkt in einem 4-Bit-Format. Auch Sprachassistenten, die ohne Internetverbindung auf dem Handy arbeiten, setzen auf solche stark verkleinerten Zahlen.