Model FLOPs Utilization

Ein Computerchip, der KI-Modelle trainiert, kann pro Sekunde eine bestimmte Höchstzahl an Rechenoperationen ausführen. Diese Höchstzahl steht im Datenblatt des Herstellers und ist ein theoretischer Bestwert. In der Realität erreicht keine Software diesen Wert, weil der Chip immer wieder auf Daten warten muss. Model FLOPs Utilization ist die Kennzahl, die beide Größen ins Verhältnis setzt. Sie sagt: So viel Prozent der möglichen Rechenleistung wurde wirklich für die Berechnung des Modells verwendet. Der Rest ging in Wartezeit, Datentransport oder Verwaltungsaufgaben verloren.

Was ein Prozentpunkt an Auslastung kostet

Das Training großer KI-Modelle ist eines der teuersten Vorhaben der Tech-Branche. Für ein sehr großes Sprachmodell laufen zehntausende spezialisierte Chips über Wochen. Die Rechnung dafür geht in die zweistellige oder dreistellige Millionenhöhe. Der Preis hängt fast direkt davon ab, wie lange die Chips belegt sind.

Genau hier wird die Kennzahl zu Geld. Steigt die Auslastung von 30 auf 45 Prozent, ist das Training rund ein Drittel schneller fertig. Die Hardware bleibt dieselbe, es wurde kein einziger Chip zusätzlich gekauft. Solche Verbesserungen entstehen allein durch bessere Software und geschicktere Verteilung der Arbeit.

Deshalb ist MFU auch eine Vergleichszahl zwischen Anbietern. Wenn zwei Firmen dieselben Chips einsetzen, aber unterschiedliche Auslastung erreichen, arbeitet eine von beiden effizienter. In Fachberichten und Investorenpräsentationen taucht die Zahl inzwischen regelmäßig auf. Sie ist ein Hinweis darauf, wie gut ein Team seine Infrastruktur beherrscht.

Warum Chips so oft warten

Die Berechnung ist im Prinzip einfach. Man zählt, wie viele Rechenoperationen das Modell für einen Trainingsschritt braucht. Diese Zahl teilt man durch die verstrichene Zeit und erhält die tatsächliche Rechenleistung. Anschließend teilt man das Ergebnis durch den Spitzenwert des Chips aus dem Datenblatt. Heraus kommt ein Prozentwert.

Der Verlust entsteht fast immer am selben Punkt: beim Nachschub an Daten. Ein Rechenchip kann Zahlen viel schneller verarbeiten, als der Speicher sie liefern kann. Man kann sich das wie eine Küche vorstellen, in der ein extrem schneller Koch steht, aber nur ein Zulieferer mit einem kleinen Fahrrad unterwegs ist. Der Koch ist nicht das Problem, der Nachschub ist es.

Dazu kommt die Kommunikation zwischen tausenden Chips. Jeder von ihnen berechnet nur einen Teil des Modells und muss seine Zwischenergebnisse mit den anderen abgleichen. Während dieses Austauschs rechnet niemand am Modell. Ingenieure versuchen deshalb, Rechnen und Datenaustausch zeitlich zu überlappen. Genau darin unterscheiden sich gut und schlecht optimierte Trainingsläufe.

MFU in Fachberichten und die Verwechslung mit Hardware-Auslastung

Der Begriff steht selten in Werbetexten, aber häufig in technischen Berichten zu neuen Modellen. Große Labore veröffentlichen bei der Vorstellung eines Modells oft eine Tabelle mit Chipanzahl, Trainingsdauer und erreichter Auslastung. Auch Anbieter von Cloud-Rechenzentren nennen die Zahl, wenn sie zeigen wollen, dass ihre Systeme effizient arbeiten.

Ein verbreiteter Irrtum ist die Verwechslung mit der Anzeige der Chipauslastung im Betriebssystem. Diese meldet oft 100 Prozent, obwohl die MFU bei 35 Prozent liegt. Der Grund: Die Anzeige zeigt nur, dass der Chip beschäftigt ist. Sie unterscheidet nicht zwischen nützlicher Rechenarbeit und dem Warten auf Daten.

Wichtig ist außerdem, dass sich die Kennzahl vor allem auf das Training bezieht. Beim späteren Betrieb eines Modells, wenn es einzelne Nutzerfragen beantwortet, liegen die Werte oft deutlich niedriger. Dort wartet der Chip fast durchgehend auf Daten aus dem Speicher. Für diesen Fall verwenden Fachleute andere Kennzahlen, etwa Antworten pro Sekunde oder Kosten pro Anfrage.