BF16

Ein Computer speichert jede Zahl als Folge von Nullen und Einsen. Je mehr Stellen er dafür verwendet, desto genauer ist die Zahl — und desto mehr Platz braucht sie. Lange Zeit waren 32 Stellen der Normalfall für Kommazahlen. BF16 nutzt nur 16 Stellen und ist damit halb so groß. Der Name steht für „Brain Float 16“, entwickelt wurde das Format bei Google für Rechenchips, die KI-Systeme trainieren.

Warum das wichtig ist

Große KI-Modelle bestehen aus Milliarden einzelner Zahlen, den sogenannten Parametern. Diese Zahlen sind das, was ein Modell während des Trainings lernt. Wenn jede davon halb so viel Platz braucht, passt das doppelt so große Modell in denselben Grafikkarten-Speicher.

Auch die Rechnung wird schneller. Moderne KI-Chips verarbeiten 16-stellige Zahlen mehrere Male schneller als 32-stellige. Bei Trainingsläufen, die Wochen dauern und Millionen kosten, ist das ein handfester wirtschaftlicher Unterschied. Praktisch jedes große Sprachmodell der letzten Jahre wurde in BF16 oder einem ähnlichen Format trainiert.

Wie es funktioniert

Eine Kommazahl im Computer besteht aus zwei Teilen. Der eine Teil gibt die Größenordnung an, also ob es um Tausender oder um Millionstel geht. Der andere Teil gibt die genauen Ziffern an. Man kann sich das wie die Schreibweise 3,14 mal 10 hoch 8 vorstellen: die 10 hoch 8 ist die Größenordnung, die 3,14 sind die Ziffern.

Wenn man von 32 auf 16 Stellen kürzt, muss man an einer der beiden Stellen sparen. BF16 spart komplett bei den Ziffern und behält die volle Größenordnung. Es kann also genauso winzige und genauso riesige Zahlen darstellen wie das 32-stellige Format, nur eben grober. Statt 3,14159 speichert es etwa 3,14.

Genau diese Aufteilung ist der Trick. Beim Training eines Modells treten sehr kleine Zahlen auf, etwa wenn ein Parameter nur minimal angepasst wird. Ein Format mit knapper Größenordnung würde solche Werte einfach auf Null runden, und die Information wäre verloren. BF16 verkraftet sie. Dass die Ziffern ungenau sind, fällt beim Training kaum auf, weil dort ohnehin über riesige Datenmengen gemittelt wird. Kleine Rundungsfehler heben sich weitgehend gegenseitig auf.

Der ältere Konkurrent heißt FP16 und teilt die 16 Stellen anders auf: mehr Ziffern, weniger Größenordnung. Damit rechnet man genauer, aber Werte können leichter „überlaufen“ oder auf Null fallen. Trainingsläufe brechen dann ab. Deshalb hat sich BF16 in der KI durchgesetzt, obwohl FP16 auf dem Papier präziser ist.

Wo man dem Begriff begegnet

In Modellkarten und technischen Ankündigungen steht oft, in welchem Format ein Modell vorliegt. Wer ein offenes Modell selbst herunterlädt, findet Dateien mit dem Hinweis bf16 und kann daran abschätzen, wie viel Grafikspeicher er braucht: etwa zwei Gigabyte pro Milliarde Parameter.

Auch in Produktmitteilungen von Chipherstellern taucht BF16 auf. Nvidia, AMD und Google geben die Leistung ihrer Beschleuniger getrennt für verschiedene Zahlenformate an. Anleger und Analysten vergleichen diese Werte, weil sie zeigen, wie schnell ein Chip KI-Aufgaben erledigt. Wichtig ist dabei: Solche Angaben sind nur vergleichbar, wenn dasselbe Format gemeint ist.

Beim reinen Benutzen fertiger Modelle gehen viele Anbieter noch weiter herunter, auf 8 oder sogar 4 Stellen. Dieses nachträgliche Vergröbern heißt Quantisierung. BF16 gilt dabei meist als Ausgangspunkt und als Maßstab dafür, wie viel Qualität durch das Sparen verloren geht.