Checkpoint

Ein KI-Modell lernt, indem es über Wochen hinweg Millionen von Beispielen durchgeht. Sein gesamtes Wissen steckt dabei in einer riesigen Sammlung von Zahlen, den sogenannten Parametern. Diese Zahlen verändern sich beim Lernen ständig ein kleines bisschen. Ein Checkpoint ist eine Kopie all dieser Zahlen, festgehalten zu einem bestimmten Zeitpunkt und auf die Festplatte geschrieben. Man kann ihn sich vorstellen wie einen Spielstand in einem Videospiel: Man speichert den aktuellen Fortschritt, um später genau dort weiterzumachen. Ohne solche Speicherpunkte wäre jede Panne während des Lernens ein Totalverlust.

Warum wochenlanges Training ohne Speicherpunkte unmöglich wäre

Große Modelle werden auf tausenden Grafikkarten gleichzeitig trainiert. Bei dieser Menge an Hardware fällt praktisch immer irgendetwas aus. Eine Karte überhitzt, ein Netzwerkkabel wackelt, die Stromversorgung schwankt. Ohne Zwischenstände müsste man nach jedem solchen Vorfall bei null anfangen. Bei einem Lauf über zwei Monate wäre das schlicht nicht durchführbar.

Rechenzeit ist außerdem sehr teuer. Ein großer Trainingslauf kann mehrere Millionen Euro an Strom und Mietkosten für Rechenzentren verschlingen. Ein verlorener Tag kostet damit real Geld. Checkpoints begrenzen den Schaden auf die Zeit seit dem letzten Speichern, meist wenige Stunden.

Es gibt noch einen zweiten Grund. Ein Modell wird beim Lernen nicht immer nur besser. Manchmal kippt der Lernprozess, und die Ergebnisse werden plötzlich schlechter. Dann greifen die Entwickler auf einen älteren Checkpoint zurück und starten von dort mit veränderten Einstellungen neu. Der Speicherpunkt ist also nicht nur Notfallschutz, sondern auch ein Werkzeug zum Experimentieren.

Was in so einer Datei tatsächlich drinsteht

Ein Checkpoint enthält zuerst die Parameter, also alle gelernten Zahlenwerte des Modells. Bei einem großen Sprachmodell sind das schnell hunderte Milliarden Werte. Jeder Wert braucht Speicherplatz, weshalb solche Dateien mehrere hundert Gigabyte groß werden können. Zum Vergleich: Das ist mehr, als auf viele Notebook-Festplatten passt.

Für ein fortsetzbares Training reicht das aber nicht. Gespeichert wird zusätzlich der Zustand des Optimierers, also des Verfahrens, das entscheidet, wie stark jede Zahl bei jedem Schritt angepasst wird. Dazu kommen die Nummer des aktuellen Lernschritts und die Position im Datensatz. Erst mit all diesen Angaben läuft das Training nahtlos weiter, als wäre nichts passiert.

Das Schreiben selbst dauert und blockiert die Rechenarbeit. Deshalb speichert man nicht ständig, sondern in festen Abständen, etwa alle paar Stunden. Häufig unterscheidet man zwischen vollständigen Checkpoints zum Weiterrechnen und schlankeren Versionen, die nur die Parameter enthalten. Letztere reichen aus, wenn man das Modell nur benutzen und nicht weitertrainieren will.

Checkpoints in Downloads, Releases und Fachmeldungen

Wer ein frei verfügbares Modell aus dem Internet lädt, lädt in Wahrheit einen Checkpoint herunter. Auf Plattformen wie Hugging Face stehen zu einem Modell oft mehrere Stände bereit. Sie unterscheiden sich darin, wie lange trainiert wurde oder auf welche Aufgabe das Modell zusätzlich zugeschnitten ist. Bei Bildgeneratoren tauschen Nutzer regelmäßig verschiedene Checkpoints aus, um andere Bildstile zu erhalten.

Auch in Nachrichten taucht der Begriff auf. Wenn eine Firma schreibt, sie veröffentliche einen Zwischenstand ihres Modells, meint sie genau das: eine Momentaufnahme, nicht das endgültige Produkt. Manche Forschungsgruppen geben absichtlich viele Zwischenstände frei, damit andere nachvollziehen können, wann das Modell welche Fähigkeit erworben hat.

Ein häufiger Irrtum ist, ein Checkpoint sei dasselbe wie das fertige Modell. Genauer gesagt ist ein Modell die Bauform, also die Anordnung der Rechenbausteine. Der Checkpoint liefert die Zahlen, die diese Bauform überhaupt erst nutzbar machen. Ohne passende Bauform ist die Datei nur eine sinnlose Zahlensammlung. Erst beide zusammen ergeben eine funktionierende KI.