Checkpointing

Wenn ein KI-Programm lernt, verändert es über Wochen hinweg Milliarden interner Zahlenwerte. Diese Werte liegen währenddessen im schnellen Arbeitsspeicher spezieller Rechenkarten. Fällt der Strom aus oder stürzt eine Maschine ab, ist dieser Speicher sofort leer. Checkpointing ist die Gegenmaßnahme: In festen Abständen wird der komplette Zwischenstand auf dauerhafte Speicher geschrieben. Man kann sich das wie den Speicherstand in einem Videospiel vorstellen. Nach einem Absturz lädt man den letzten Stand und verliert nur die Zeit seit dem letzten Speichern.

Warum wochenlange Rechenläufe ohne Speicherstände unmöglich wären

Große KI-Modelle werden auf tausenden Rechenkarten gleichzeitig trainiert. Je mehr Geräte beteiligt sind, desto wahrscheinlicher fällt irgendwo eines aus. Bei sehr großen Anlagen kommt das nicht selten mehrmals pro Woche vor. Ohne Checkpointing würde jeder einzelne Defekt den gesamten Lauf vernichten. Ein Training über zwei Monate käme so praktisch nie zum Ende.

Dahinter stehen sehr konkrete Kosten. Ein großer Trainingslauf kann mehrere Millionen Euro an Rechenzeit verschlingen. Geht ein Tag verloren, sind das schnell hohe fünfstellige Beträge. Checkpointing begrenzt diesen möglichen Verlust auf den Abstand zwischen zwei Speicherständen. Speichert man stündlich, riskiert man höchstens eine Stunde Arbeit.

Checkpoints haben noch einen zweiten Nutzen, der oft unterschätzt wird. Man kann später vergleichen, wie gut das Modell nach 30, 60 oder 90 Prozent des Trainings war. Manchmal ist ein früherer Stand sogar besser als der letzte. Dann nimmt man einfach diesen Checkpoint als fertiges Modell. Ohne gespeicherte Zwischenstände wäre dieser Rückgriff nicht möglich.

Was in einem Speicherstand tatsächlich drinsteht

Ein Checkpoint enthält mehr als nur die gelernten Zahlenwerte des Modells, die sogenannten Parameter. Gespeichert wird auch der Zustand des Lernverfahrens, das diese Werte anpasst. Dazu kommt die Information, an welcher Stelle der Trainingsdaten man gerade steht. Nur mit allen drei Teilen läuft das Training nahtlos weiter. Fehlt einer davon, macht das Modell nach dem Neustart einen sichtbaren Qualitätssprung nach unten.

Solche Dateien sind riesig. Ein Modell mit 70 Milliarden Parametern belegt schon als reine Parameterdatei etwa 140 Gigabyte. Mit dem Zustand des Lernverfahrens wird daraus leicht das Drei- bis Vierfache. Das Schreiben dieser Datenmenge dauert Minuten, in denen das Training pausiert. Deshalb speichert man nicht ständig, sondern sucht einen Kompromiss.

Genau darin liegt die eigentliche Abwägung. Speichert man zu selten, verliert man bei einem Absturz viel Arbeit. Speichert man zu oft, verbringt die Anlage einen spürbaren Teil der Zeit mit Schreiben statt mit Rechnen. Moderne Systeme lösen das, indem sie im Hintergrund schreiben, während das Training weiterläuft. Häufig legt man zusätzlich nur die letzten paar Checkpoints ab und löscht ältere automatisch.

Vom Trainingsrechenzentrum bis zum Download-Portal

Wer sich ein frei verfügbares KI-Modell herunterlädt, lädt in Wirklichkeit einen Checkpoint. Auf Plattformen wie Hugging Face heißen die Dateien oft genau so. Sie enthalten den eingefrorenen Lernstand eines Modells zu einem bestimmten Zeitpunkt. Bezeichnungen mit Zusätzen wie « final » oder einer Schrittzahl verweisen darauf, aus welcher Phase des Trainings der Stand stammt.

In Firmenmeldungen taucht der Begriff auf, wenn es um Ausfälle in Rechenzentren geht. Berichte über große Trainingsläufe erwähnen regelmäßig, wie oft Hardware ausfiel und wie viel Zeit durch Neustarts verloren ging. Ein verbreiteter Irrtum ist übrigens, Checkpointing sei dasselbe wie ein Backup. Ein Backup sichert Daten gegen Verlust, ein Checkpoint sichert einen laufenden Prozess gegen Unterbrechung. Der Zweck ist ähnlich, der Inhalt ein völlig anderer.