Supervised Fine-Tuning
Supervised Fine-Tuning ist ein Trainingsschritt, bei dem ein bereits vortrainiertes KI-Modell mit ausgewählten Beispielpaaren aus Aufgabe und Musterantwort nachgeschult wird. So lernt ein System, das nur Text fortsetzen kann, tatsächlich Anweisungen zu befolgen.
Ein Sprachmodell wird zuerst mit riesigen Textmengen aus dem Internet trainiert. Danach kann es erstaunlich gut vorhersagen, welches Wort als Nächstes passt. Was es noch nicht kann: eine Frage beantworten, statt sie einfach weiterzuschreiben. Supervised Fine-Tuning ist der Schritt, der genau das nachholt. Man zeigt dem Modell dafür tausende Beispiele, die jeweils aus einer Aufgabe und einer dazu passenden Musterantwort bestehen. Das Wort « supervised » heißt übersetzt « überwacht » und bedeutet hier: Zu jeder Eingabe liegt die gewünschte Ausgabe bereits fertig vor.
Vom Textfortsetzer zum Assistenten
Ohne diesen Schritt wäre ein Chatbot praktisch unbenutzbar. Fragt man ein rein vortrainiertes Modell « Was ist die Hauptstadt von Norwegen? », antwortet es womöglich mit « Und was ist die Hauptstadt von Schweden? ». Es hat im Internet gelernt, dass auf Fragen oft weitere Fragen folgen. Das ist statistisch korrekt und trotzdem nutzlos. Supervised Fine-Tuning bringt dem Modell bei, dass auf eine Frage eine Antwort gehört.
Der zweite Grund ist wirtschaftlich. Das Vortraining eines großen Modells kostet zweistellige Millionenbeträge und dauert Monate. Ein Fine-Tuning kommt oft mit einigen tausend bis wenigen hunderttausend Beispielen aus. Es läuft je nach Modellgröße in Stunden oder Tagen. Deshalb können auch kleinere Firmen und Forschungsgruppen ein offen verfügbares Modell an ihren eigenen Bedarf anpassen, statt bei null anzufangen.
Genau das machen Unternehmen mit Fachwissen, das im offenen Internet kaum vorkommt. Eine Kanzlei trainiert ein Modell auf ihren eigenen Schriftsätzen, ein Krankenhaus auf medizinischen Berichten. Das Ergebnis trifft in diesem engen Bereich oft den Ton und die Fachsprache besser als ein viel größeres Allzweckmodell.
Was in den Beispieldaten steht
Der Rohstoff sind Paare aus Eingabe und gewünschter Ausgabe. Eine Zeile enthält etwa die Anweisung « Fasse diesen Text in drei Sätzen zusammen » plus den Text und dazu die fertige Zusammenfassung. Solche Paare schreiben bezahlte Fachleute, oder man sammelt sie aus geprüften Quellen. Ein Teil stammt inzwischen auch von anderen, stärkeren KI-Modellen. Entscheidend ist die Qualität, nicht die Menge: Ein paar tausend sorgfältig geschriebene Beispiele schlagen oft Millionen schlampiger.
Technisch läuft das Training wie das Vortraining ab, nur mit anderem Material. Das Modell erzeugt zu einer Eingabe seine eigene Antwort. Diese wird mit der Musterantwort verglichen, und die Abweichung wird gemessen. Danach verschiebt ein Rechenverfahren die internen Stellschrauben des Modells minimal in die Richtung, die den Fehler kleiner macht. Diese Stellschrauben heißen Parameter, große Modelle haben Milliarden davon.
Oft ändert man gar nicht alle Parameter. Verfahren wie LoRA hängen dem Modell nur eine kleine Zusatzschicht an und lassen den Rest unangetastet. Das spart Speicher und Rechenzeit erheblich. Ein häufiger Irrtum ist außerdem, Supervised Fine-Tuning mit dem Schritt danach zu verwechseln. Beim sogenannten Reinforcement Learning bewerten Menschen mehrere Antworten und sortieren sie nach Qualität. Beim Fine-Tuning dagegen gibt es pro Aufgabe genau eine vorgegebene Musterlösung.
Wo der Begriff in News und Produkten auftaucht
Wer ein Modell wie Llama oder Mistral herunterlädt, findet meist zwei Varianten. Die eine trägt den Zusatz « base », die andere « instruct » oder « chat ». Die zweite hat ein Supervised Fine-Tuning hinter sich und lässt sich direkt als Assistent verwenden. Die erste ist Rohmaterial für Entwickler, die selbst weitertrainieren wollen.
Auch die großen Anbieter verkaufen den Schritt als Dienstleistung. OpenAI, Google und andere bieten an, ihre Modelle mit hochgeladenen Beispieldateien anzupassen. Firmen nutzen das etwa, damit ein Support-Chatbot die eigenen Produktnamen und die firmentypische Anrede zuverlässig trifft. In Fachartikeln taucht dann die Abkürzung SFT auf, oft in einer Aufzählung mit anderen Trainingsstufen.
Ein wiederkehrendes Thema in den Nachrichten ist der Streit um die Trainingsdaten. Wenn ein Anbieter sein Modell mit Antworten eines Konkurrenzmodells feinjustiert, verstößt das häufig gegen dessen Nutzungsbedingungen. Solche Vorwürfe wurden schon mehrfach öffentlich erhoben. Sie zeigen, wie wertvoll gute Beispieldaten inzwischen sind.