Fließkomma-Genauigkeit

Computer speichern Zahlen nicht beliebig genau. Für Kommazahlen wie 3,14159 gibt es feste Formate, die eine bestimmte Zahl von Stellen vorsehen. Ein solches Format nennt man Fließkomma-Format, weil das Komma je nach Größe der Zahl verschoben wird. Die Fließkomma-Genauigkeit beschreibt, wie viele Stellen ein Format zur Verfügung stellt. Je mehr Stellen, desto exakter die Zahl, aber desto mehr Speicherplatz braucht sie. Kürzere Formate sind ungenauer, dafür schneller und sparsamer.

Warum ein paar Nachkommastellen über Millionen Euro entscheiden

Ein modernes KI-Modell besteht aus Milliarden einzelner Zahlen. Diese Zahlen heißen Parameter und speichern alles, was das Modell gelernt hat. Jede einzelne davon muss irgendwo abgelegt werden. Bei einem Modell mit 70 Milliarden Parametern macht es einen riesigen Unterschied, ob eine Zahl vier Bytes belegt oder nur einen.

In Zahlen: Bei vier Bytes pro Parameter braucht das Modell rund 280 Gigabyte Speicher. Bei einem Byte sind es nur noch etwa 70 Gigabyte. Der erste Fall verlangt mehrere teure Spezialchips, der zweite passt in einen einzelnen. Damit hängt an der Genauigkeit direkt der Preis für Hardware und Strom.

Deshalb ist die Genauigkeit eine der wichtigsten Stellschrauben der Branche geworden. Firmen wie Nvidia bewerben ihre Chips ausdrücklich damit, wie schnell sie in sparsamen Formaten rechnen. Wer die Genauigkeit halbiert, kann grob doppelt so viele Rechenschritte pro Sekunde schaffen. Das Ziel ist immer der gleiche Kompromiss: so grob wie möglich, ohne dass die Antworten schlechter werden.

Von 32 Bit hinunter auf 8 Bit

Eine Fließkommazahl besteht aus zwei Teilen. Der eine Teil legt die Ziffern fest, der andere die Größenordnung, also wie weit das Komma verschoben wird. Ein längeres Format vergibt für beide Teile mehr Platz. Genau darin unterscheiden sich die üblichen Formate.

Lange war FP32 der Standard, also 32 Bit oder vier Bytes pro Zahl. Heute trainiert man meist mit 16 Bit, oft im Format BF16. Für den laufenden Betrieb geht man noch weiter herunter, auf 8 Bit oder sogar 4 Bit. Dieses nachträgliche Verkürzen nennt man Quantisierung.

Man kann sich das wie eine Landkarte vorstellen. Eine Karte im Maßstab 1:10.000 zeigt jedes Haus, eine im Maßstab 1:1.000.000 nur noch Städte. Für die Fahrt von Hamburg nach München reicht die groben Karte völlig. Ähnlich reichen einem KI-Modell oft wenige Stellen, weil es nur Wahrscheinlichkeiten abschätzt. Wird das Format aber zu grob, verschwinden kleine Unterschiede ganz, und die Antworten werden merklich fehlerhaft.

Wo FP16 und FP8 in Meldungen auftauchen

Kürzel wie FP16, BF16 oder FP8 stehen in fast jeder Pressemitteilung zu neuen KI-Chips. Angaben zur Rechenleistung gelten immer nur für ein bestimmtes Format. Eine Zahl ohne Formatangabe ist daher wertlos, weil der Wert in FP8 leicht viermal höher liegt als in FP32. Beim Vergleich zweier Chips muss man also prüfen, welches Format gemeint ist.

Auch beim Herunterladen freier Sprachmodelle begegnet man dem Thema. Dort steht bei jeder Datei ein Kürzel wie Q4 oder Q8 für die Genauigkeit. Die sparsamen Varianten laufen auf einem normalen Gaming-PC, die genauen nur auf Servern. Wer selbst ausprobiert, merkt den Unterschied: Sehr stark verkürzte Modelle antworten oft ungenauer oder verlieren den Faden.

Ein häufiger Irrtum ist, Genauigkeit mit Qualität gleichzusetzen. Ein gut quantisiertes großes Modell ist meist besser als ein kleines Modell in voller Genauigkeit. Entscheidend ist nicht die Zahl der Stellen, sondern was am Ende bei den Antworten herauskommt.