Trainingslauf

Ein Programm für künstliche Intelligenz wird nicht Zeile für Zeile von Menschen geschrieben. Stattdessen bekommt es riesige Mengen an Beispielen vorgesetzt: Texte, Bilder, Programmcode. Aus diesen Beispielen leitet es selbst Regelmäßigkeiten ab und stellt dabei Millionen interner Stellschrauben nach. Dieser Vorgang heißt Training, und ein einzelner zusammenhängender Durchgang davon ist ein Trainingslauf. Er hat einen klaren Anfang, ein klares Ende und ein Ergebnis: eine fertige Datei mit den eingestellten Werten. Diese Datei ist das, was man später als Modell benutzt, zum Beispiel als Chatprogramm.

Warum ein Lauf über Firmenschicksale entscheidet

Ein großer Trainingslauf ist eine der teuersten Einzelaktionen der Technikbranche. Für die Spitzenmodelle der bekannten Anbieter werden Beträge zwischen hundert Millionen und über einer Milliarde Dollar genannt. Das Geld fließt in Rechenzeit auf Spezialchips und in Strom. Es fällt an, bevor irgendjemand weiß, ob das Ergebnis gut wird.

Genau darin liegt das Risiko. Wenn ein Lauf nach zwei Monaten ein schwaches Modell liefert, ist das Geld weg. Man kann nicht einfach die letzten drei Tage korrigieren. Oft muss man von einem früheren Zwischenstand aus neu starten oder ganz von vorn beginnen. Deshalb machen Forschungsteams vorher viele kleine, billige Testläufe.

Für Anleger ist der Begriff wichtig, weil er erklärt, wohin das Kapital der KI-Branche wandert. Die enormen Investitionen in Rechenzentren und Grafikkarten dienen zu einem großen Teil dazu, solche Läufe überhaupt möglich zu machen. Wer über die Bewertung von Chipherstellern spricht, spricht indirekt über geplante Trainingsläufe.

Was während der Wochen im Rechenzentrum passiert

Der Ablauf ist im Kern eine Schleife, die sehr oft wiederholt wird. Das Modell bekommt einen Ausschnitt der Daten und macht eine Vorhersage, etwa welches Wort als nächstes kommt. Dann vergleicht das System die Vorhersage mit dem echten nächsten Wort. Aus der Abweichung berechnet es, in welche Richtung die Stellschrauben verschoben werden müssen. Danach beginnt der Schritt mit dem nächsten Datenausschnitt erneut.

Weil ein einzelner Chip dafür Jahrzehnte bräuchte, wird die Arbeit auf tausende Chips verteilt. Die müssen sich nach jedem Schritt abstimmen, sonst driften ihre Stellschrauben auseinander. Das Netzwerk zwischen den Chips ist dadurch oft der Engpass, nicht die Rechenleistung selbst. Fällt ein Chip aus, kann der ganze Lauf stocken.

Aus diesem Grund speichert das System regelmäßig Zwischenstände, sogenannte Checkpoints. Nach einem Absturz setzt man dort wieder an, statt alles zu verlieren. Die Teams beobachten außerdem laufend eine Kennzahl für den durchschnittlichen Fehler. Sinkt sie nicht mehr oder springt sie plötzlich nach oben, greifen Menschen ein.

Der Begriff in Meldungen und Produktnamen

In Nachrichten taucht der Trainingslauf meist als Zeitangabe auf. Sätze wie „das Training des nächsten Modells läuft seit Herbst“ sind ein Hinweis darauf, wann ein Produkt erscheinen könnte. Auch Meldungen über abgebrochene oder verzögerte Läufe sind verbreitet. Sie gelten als Zeichen dafür, dass ein Anbieter technische Probleme hat.

Man sieht die Spuren eines Laufs auch direkt im Produkt. Wenn ein Chatprogramm sagt, sein Wissen ende zu einem bestimmten Datum, dann liegt das an den Daten des Trainingslaufs. Ereignisse danach kennt das Modell nicht, weil sie nicht in den Beispielen standen. Neuere Systeme umgehen das, indem sie zusätzlich im Internet nachsehen.

Ein häufiger Irrtum ist, dass Modelle im Gespräch weiterlernen. Das tun sie nicht. Ein Chat verändert die Stellschrauben nicht, dafür wäre ein neuer Trainingslauf nötig. Was man später noch macht, sind kleinere Nachtrainings, etwa um Antworten höflicher oder sicherer zu machen. Die sind deutlich günstiger als der große Lauf am Anfang.