FLOPs
FLOPs sind einzelne Rechenschritte mit Kommazahlen, also etwa eine Multiplikation oder eine Addition. Sie dienen als Maßeinheit dafür, wie viel Rechenarbeit ein KI-Modell verschlingt und wie schnell ein Computerchip arbeitet.
Computer rechnen unablässig mit Zahlen, die ein Komma haben, zum Beispiel 3,14 mal 0,7. Jeder einzelne solche Rechenschritt heißt eine Gleitkommaoperation, auf Englisch floating point operation, kurz FLOP. Die Mehrzahl davon sind FLOPs. Man benutzt sie als Maßeinheit, ähnlich wie Kilometer für Strecken oder Kilowattstunden für Strom. Zwei Dinge werden damit gemessen: wie viel Rechenarbeit eine Aufgabe insgesamt kostet, und wie viele Rechenschritte ein Chip pro Sekunde schafft. Die zweite Bedeutung schreibt man oft FLOP/s, sprachlich werden beide leider ständig verwechselt.
Die Währung, in der KI bezahlt wird
Ein modernes KI-Modell lernt, indem es Milliarden von Zahlen immer wieder leicht anpasst. Jede dieser Anpassungen besteht aus sehr vielen einzelnen Multiplikationen und Additionen. Am Ende summiert sich das auf astronomische Werte. Für das Training großer Sprachmodelle nennt man heute Größenordnungen von 10 hoch 25 FLOPs und mehr. Das ist eine Eins mit 25 Nullen.
Diese Zahl ist deshalb interessant, weil sie sich direkt in Geld und Strom übersetzen lässt. Rechenschritte brauchen Chips, Chips brauchen Zeit und Energie. Wer weiß, wie viele FLOPs ein Training kostet, kann grob abschätzen, was es an Rechenzentrumsmiete verschlingt. Fachleute reden deshalb vom Rechenbudget eines Projekts, gemessen in FLOPs. Es ist die knappste Ressource neben guten Daten.
Auch die Politik hat den Begriff entdeckt. Der EU AI Act und frühere Vorgaben in den USA definieren Schwellenwerte in FLOPs. Überschreitet ein Training eine bestimmte Grenze, gelten strengere Melde- und Prüfpflichten. Die Idee dahinter: Ab einer gewissen Rechenmenge könnte ein Modell so leistungsfähig werden, dass ein Blick des Gesetzgebers angebracht ist. Ob eine reine Rechenzahl dafür das richtige Maß ist, wird allerdings heftig diskutiert.
Wie man die Zahl überhaupt ermittelt
Für den Aufwand eines Trainings gibt es eine bekannte Faustformel. Man rechnet ungefähr sechs mal die Anzahl der Parameter mal die Anzahl der Trainingswörter. Parameter sind die einstellbaren Zahlen im Inneren des Modells, sie speichern das Gelernte. Ein Modell mit 10 Milliarden Parametern, trainiert auf 2 Billionen Wörtern, landet damit bei etwa 10 hoch 23 FLOPs. Die Formel ist grob, aber für Vergleiche völlig ausreichend.
Bei Chips zählt dagegen die Geschwindigkeit. Ein Grafikprozessor aus dem Rechenzentrum schafft heute mehrere hundert Billionen Rechenschritte pro Sekunde. Diese Zahl steht auf jedem Datenblatt und wird gern in der Werbung genannt. Sie ist aber ein theoretisches Maximum unter Idealbedingungen. In der Praxis erreicht ein Training oft nur dreißig bis fünfzig Prozent davon, weil die Chips auf Daten aus dem Speicher warten müssen.
Ein verbreiteter Irrtum ist, dass mehr FLOPs automatisch ein besseres Modell bedeuten. Rechenleistung ist eine Zutat, nicht das Rezept. Schlechte Daten oder eine ungeschickte Modellarchitektur verpuffen auch mit riesigem Budget. Umgekehrt haben clevere Verfahren in den letzten Jahren dafür gesorgt, dass gleich gute Ergebnisse mit deutlich weniger Rechenschritten erreichbar sind.
FLOPs in Datenblättern und Schlagzeilen
Am häufigsten begegnet dir der Begriff in Meldungen über neue Chips. Wenn Nvidia oder AMD eine neue Generation vorstellen, steht die FLOP/s-Zahl ganz oben in der Pressemitteilung. Auch Ranglisten der schnellsten Supercomputer der Welt werden in dieser Einheit geführt. Die Spitzenreiter liegen inzwischen im Bereich von Trillionen Rechenschritten pro Sekunde, man spricht von Exascale.
In Berichten über KI-Firmen taucht die Einheit indirekt auf. Wenn von Investitionen in Milliardenhöhe für Rechenzentren die Rede ist, geht es letztlich um den Kauf von FLOPs. Manche Unternehmen veröffentlichen zu ihren Modellen technische Berichte, in denen der Trainingsaufwand offengelegt wird. Andere schweigen dazu, weil die Zahl Rückschlüsse auf Kosten und Strategie zulässt.
Ein praktischer Hinweis zum Lesen solcher Meldungen: Achte darauf, ob eine Sekunde erwähnt wird. FLOPs ohne Zeitangabe sind eine Gesamtmenge Arbeit, FLOP/s sind eine Geschwindigkeit. Und achte auf die Genauigkeit der Zahlen, mit denen gerechnet wird. Ein Chip schafft mit gröber gespeicherten Zahlen viel mehr Operationen pro Sekunde als mit sehr genauen. Hersteller nennen deshalb gern den höchsten Wert, der sich irgendwie begründen lässt.