Uptraining

Ein Programm, das Texte schreibt oder Bilder erkennt, muss zuerst aus riesigen Datenmengen lernen. Diese Lernphase heißt Training und kostet oft Millionen Euro an Strom und Rechenzeit. Uptraining ist der Versuch, diese Arbeit nicht zu wiederholen. Man nimmt ein Modell, das schon fertig gelernt hat, und trainiert es weiter. Dabei bekommt es neue Daten, neue Aufgaben oder sogar einen veränderten inneren Aufbau. Der Grundgedanke: Wissen, das schon im Modell steckt, soll nicht weggeworfen werden.

Was Firmen damit sparen

Ein großes Sprachmodell von Grund auf zu trainieren, dauert Wochen auf tausenden Spezialchips. Uptraining braucht davon oft nur wenige Prozent. Für Unternehmen ist das der Unterschied zwischen einem Projekt für Konzerne und einem Projekt für ein mittleres Team. Genau deshalb tauchen ständig neue Modelle auf, obwohl es weltweit nur eine Handvoll wirklich teurer Grundtrainings gibt.

Ein zweiter Grund ist Aktualität. Ein Modell kennt nur die Welt bis zu dem Tag, an dem seine Daten gesammelt wurden. Wer es mit neueren Texten uptrainiert, bringt es auf einen aktuelleren Stand. Das ist billiger, als jedes Jahr ein komplett neues Modell zu bauen.

Es gibt aber einen Preis. Beim Weitertrainieren kann ein Modell alte Fähigkeiten verlieren, weil die neuen Daten die alten Muster überschreiben. Fachleute nennen das katastrophales Vergessen. Man mischt deshalb meist alte und neue Daten, damit das Modell seine Grundkenntnisse behält.

Vom fertigen Modell zum umgebauten Modell

Technisch verändert Training die sogenannten Parameter eines Modells, also Millionen bis Milliarden von Zahlen, die sein Wissen speichern. Beim Uptraining startet man nicht mit zufälligen Zahlen, sondern mit den bereits gelernten. Man rechnet also von einem guten Zwischenstand aus weiter. Das ist wie eine Bergtour, die man auf halber Höhe in der Hütte beginnt, statt im Tal.

Besonders interessant ist die Variante, bei der die Bauweise selbst geändert wird. Ein häufiger Fall: Aus einem normalen Modell wird ein Mixture-of-Experts-Modell gemacht. Dabei werden Bausteine des Modells kopiert und zu mehreren Fachabteilungen, den Experten, umgebaut. Ein kleines Zusatznetz lernt danach, welcher Experte für welche Anfrage zuständig ist. Weil die kopierten Bausteine ihr Wissen mitbringen, ist das neue Modell nach kurzem Nachtraining schon brauchbar.

Wichtig ist die Abgrenzung zum Feintuning. Beim Feintuning passt man ein Modell mit relativ wenigen Beispielen an einen Stil oder eine Aufgabe an, etwa an Kundendialoge. Uptraining arbeitet mit deutlich mehr Daten und will die allgemeinen Fähigkeiten des Modells erweitern oder seine Architektur verändern. Die Grenze ist fließend, der Aufwand unterscheidet sich aber um Größenordnungen.

Uptraining in Modellankündigungen und Firmennews

Wenn ein Anbieter eine neue Modellversion vorstellt, steckt sehr oft Uptraining dahinter. Formulierungen wie “aufbauend auf”, “weitertrainiert auf zusätzlichen Daten” oder “aus einem bestehenden Modell abgeleitet” sind der Hinweis darauf. Auch die vielen frei verfügbaren Modelle, die auf einem einzigen offenen Grundmodell beruhen, entstehen so.

Für Anleger und Beobachter der Branche ist das ein Kostenthema. Wer viel uptrainiert, braucht weniger eigene Rechenzentren, hängt aber von den Grundmodellen anderer ab. Deshalb ist die Lizenz eines offenen Modells oft wichtiger als seine Bestenliste: Sie entscheidet, ob man darauf aufbauen und das Ergebnis verkaufen darf.

Ein typischer Irrtum ist, Uptraining für einen billigen Trick zu halten. Es ersetzt kein gutes Grundmodell. Wenn im Ausgangsmodell eine Fähigkeit fehlt, etwa eine Sprache, die in den Daten kaum vorkam, bekommt man sie mit wenig Nachtraining nicht vollständig hinein. Uptraining verstärkt und verschiebt vorhandene Fähigkeiten, es erfindet sie nicht neu.