Double Precision
Double Precision bezeichnet ein Zahlenformat, bei dem ein Computer eine Kommazahl mit 64 Bit speichert und dadurch sehr viele Nachkommastellen genau abbilden kann. Es gilt als Standard in Wissenschaft und Simulation, spielt bei modernen KI-Modellen aber kaum noch eine Rolle.
Ein Computer speichert jede Zahl als Folge von Nullen und Einsen. Je mehr solcher Stellen er für eine einzelne Zahl reserviert, desto genauer kann er sie festhalten. Double Precision heißt: für eine Kommazahl werden 64 dieser Stellen verwendet. Das Ergebnis sind rund 15 bis 17 verlässliche Ziffern, also etwa 3,141592653589793 statt nur 3,14. Der Name kommt daher, dass früher 32 Stellen als normale Genauigkeit galten und 64 Stellen eben die doppelte Menge sind. Man kürzt das Format meist mit FP64 ab, wobei FP für die englische Bezeichnung der Kommazahl steht.
Wenn kleine Rundungsfehler groß werden
Jede Rechnung mit begrenzter Stellenzahl rundet ein bisschen. Bei einer einzelnen Rechnung fällt das nicht auf. Problematisch wird es, wenn Millionen Rechenschritte aufeinander aufbauen. Dann addieren sich winzige Abweichungen und können das Endergebnis unbrauchbar machen.
Genau das passiert bei Wettermodellen, Strömungssimulationen oder Berechnungen von Satellitenbahnen. Ein Fehler in der zehnten Nachkommastelle wächst über tausende Zeitschritte zu einem sichtbaren Unterschied an. Deshalb ist Double Precision in diesen Bereichen keine Vorsichtsmaßnahme, sondern Pflicht. Auch Banken und Physiklabore rechnen aus demselben Grund mit 64 Bit.
Die Genauigkeit hat aber einen Preis. Doppelt so viele Stellen bedeuten doppelt so viel Speicher pro Zahl. Und die Recheneinheiten in Grafikkarten sind für dieses Format deutlich langsamer als für kürzere Formate. Auf vielen KI-Beschleunigern ist FP64 zehn- bis dreißigmal langsamer als das übliche kurze Format.
Die drei Teile einer 64-Bit-Zahl
Die 64 Stellen sind nicht einfach eine lange Zahl. Sie sind in drei Abschnitte aufgeteilt. Eine Stelle gibt das Vorzeichen an, also plus oder minus. Elf Stellen bilden den Exponenten, der festlegt, wie groß oder klein die Zahl insgesamt ist. Die restlichen 52 Stellen speichern die eigentlichen Ziffern.
Man kann sich das wie die wissenschaftliche Schreibweise vorstellen. Die Zahl 6,022 mal 10 hoch 23 besteht ebenfalls aus Ziffern und einer Angabe zur Größenordnung. Der Computer macht dasselbe, nur im Zweiersystem. Dadurch passen sowohl winzige als auch riesige Zahlen in dasselbe Format. Der Bereich reicht etwa von 10 hoch minus 308 bis 10 hoch 308.
Ein häufiger Irrtum ist, Double Precision sei exakt. Das stimmt nicht. Auch 0,1 lässt sich im Zweiersystem nicht sauber darstellen, egal wie viele Stellen man nimmt. FP64 macht den Fehler nur so klein, dass er in den meisten Anwendungen nicht mehr stört. Wer exakte Beträge braucht, etwa in der Buchhaltung, rechnet stattdessen mit ganzen Cent.
Warum KI-Chips damit sparsam umgehen
In Nachrichten über Supercomputer taucht Double Precision fast immer auf. Die bekannte TOP500-Liste der schnellsten Rechner der Welt misst deren Leistung ausdrücklich in FP64-Rechenoperationen pro Sekunde. Ein System gilt dort erst als leistungsfähig, wenn es viele solcher genauen Rechnungen schafft.
Beim Training von KI-Modellen ist es umgekehrt. Neuronale Netze vertragen Ungenauigkeit erstaunlich gut, weil ihre Zahlen ohnehin nur ungefähre Gewichtungen sind. Deshalb arbeiten sie meist mit 16 oder sogar 8 Stellen. Das spart Speicher und Zeit und erlaubt größere Modelle auf derselben Hardware.
Das erklärt eine Diskussion, die man in Berichten über Grafikkarten regelmäßig liest. Hersteller bauen bei reinen KI-Beschleunigern die FP64-Einheiten stark zurück oder lassen sie fast weg. Für Chatbots ist das egal, für Klimaforscher nicht. Universitäten und Rechenzentren kaufen deshalb oft andere Modelle als KI-Firmen, obwohl beide dieselbe Chipgeneration nutzen.