Mid-Training
Mid-Training ist eine Zwischenphase beim Bau eines KI-Sprachmodells: Nach dem großen, breiten Grundtraining lernt das Modell noch einmal aus besonders sorgfältig ausgewählten Texten. Es ist der Schritt zwischen dem allgemeinen Vortraining und dem abschließenden Feinschliff auf konkrete Aufgaben.
Ein Sprachmodell wie ChatGPT entsteht nicht in einem einzigen Durchgang. Zuerst liest es riesige Mengen Text aus dem Internet und lernt dabei, welches Wort auf welches folgt. Diese erste, sehr lange Phase heißt Vortraining. Ganz am Ende wird das Modell dann mit vergleichsweise wenigen Beispielen darauf getrimmt, hilfreich und höflich zu antworten. Mid-Training ist die Phase dazwischen: Das Modell trainiert weiter, aber nicht mehr mit wahllos zusammengesammelten Texten, sondern mit einer gezielt gefilterten und aufgewerteten Auswahl. Der Umfang liegt typischerweise bei einigen Prozent der ursprünglichen Datenmenge, also deutlich mehr als beim Feinschliff und deutlich weniger als am Anfang.
Was der Schritt an Fähigkeiten bringt
Das breite Vortraining hat einen Nachteil: Die Daten sind von sehr unterschiedlicher Qualität. Zwischen Fachartikeln stehen Werbetexte, Forenbeiträge und automatisch erzeugter Müll. Ein Modell, das alles gleich gewichtet, wird in der Breite gut, aber in nichts richtig stark. Mid-Training korrigiert diese Schieflage nachträglich, ohne dass man das gesamte teure Vortraining wiederholen müsste.
Besonders sichtbar wird der Effekt bei Mathematik, Programmieren und logischem Schlussfolgern. Solche Fähigkeiten stecken nur in einem winzigen Bruchteil der Internettexte. Füttert man das Modell in dieser Phase mit Lehrbüchern, sauberem Programmcode und durchgerechneten Lösungswegen, steigen die Testergebnisse in genau diesen Bereichen oft deutlich. Auch neues Wissen lässt sich so nachreichen, etwa Ereignisse, die nach dem Ende des Vortrainings passiert sind.
Für Unternehmen ist das vor allem eine Kostenfrage. Ein Vortraining von Grund auf kann dreistellige Millionenbeträge verschlingen und Monate dauern. Mid-Training kostet einen Bruchteil davon, weil es auf einem fertigen Modell aufsetzt. Deshalb ist es zu einem der wichtigsten Hebel geworden, um aus einem vorhandenen Modell mehr herauszuholen.
Kuratierte Daten und ein sanfterer Lernschritt
Technisch passiert im Mid-Training dasselbe wie im Vortraining: Das Modell sagt das jeweils nächste Textstück voraus und wird bei Fehlern minimal angepasst. Der Unterschied liegt in den Daten. Sie werden gefiltert, entdoppelt und nach Themen neu gemischt. Häufig kommen auch künstlich erzeugte Texte dazu, etwa Aufgaben mit ausführlich ausgeschriebenem Lösungsweg.
Ein zweiter Unterschied ist die Lernrate. Sie bestimmt, wie stark das Modell seine internen Werte pro Schritt verändert. Im Mid-Training wird sie meist deutlich niedriger angesetzt als am Anfang. Man kann sich das wie Schleifpapier vorstellen: Zuerst arbeitet man grob, am Ende nur noch fein. Dreht man zu grob weiter, passiert das sogenannte katastrophale Vergessen — das Modell überschreibt beim Neulernen altes Wissen.
Genau deshalb mischt man die neuen Spezialtexte fast immer mit einem Anteil der alten, allgemeinen Daten. Eine typische Aufteilung sind mehrere Teile Fachdaten auf einen Teil Wiederholungsstoff. Ebenfalls in diese Phase fällt oft die Vergrößerung des Kontextfensters, also der Textmenge, die das Modell auf einmal überblicken kann. Ein Sprung von wenigen tausend auf hunderttausende Wörter wird meist im Mid-Training vollzogen und nicht schon am Anfang.
Wo der Begriff in Modellankündigungen auftaucht
Direkt sieht man Mid-Training nie — es ist ein reiner Produktionsschritt hinter verschlossenen Türen. Der Begriff begegnet einem in technischen Berichten zu neuen Modellen, etwa von Meta, Alibaba oder Mistral. Dort steht dann, mit wie vielen zusätzlichen Datenpunkten in dieser Phase nachtrainiert wurde. Auch Formulierungen wie « continued pretraining » meinen im Kern dasselbe.
Praktisch relevant wird es bei Fachmodellen. Eine Bank oder ein Pharmakonzern nimmt ein frei verfügbares Modell und trainiert es auf eigenen Dokumenten weiter. Das Ergebnis kennt Fachbegriffe und Formulierungen der Branche, ohne dass ein völlig neues Modell nötig wäre. Genau dieser Weg macht offene Modelle für Unternehmen attraktiv.
Ein häufiger Irrtum ist die Verwechslung mit Fine-Tuning. Fine-Tuning arbeitet mit wenigen tausend Beispielen und ändert vor allem das Verhalten, also Ton und Antwortformat. Mid-Training arbeitet mit Milliarden von Textbausteinen und ändert, was das Modell überhaupt weiß und kann. Beides zusammen ergibt erst das fertige Produkt, das man am Ende als Chatbot benutzt.