Instruction Fine-Tuning

Ein Sprachmodell wird zuerst darauf trainiert, Texte fortzusetzen. Es liest riesige Mengen an Text aus dem Internet und lernt, welches Wort als Nächstes wahrscheinlich ist. Ein solches Modell kann viel, aber es ist noch kein Gesprächspartner. Schreibt man ihm die Frage « Wie funktioniert ein Fahrraddynamo? », antwortet es vielleicht mit einer Liste weiterer Fragen. Denn im Internet stehen Fragen oft in Listen mit anderen Fragen. Instruction Fine-Tuning ist die anschließende Trainingsrunde, die dem Modell beibringt: Wenn hier eine Aufforderung steht, dann folgt eine Antwort darauf.

Vom Textvorhersager zum Assistenten

Ohne diesen Schritt wären Chat-Programme wie ChatGPT kaum benutzbar. Das reine Grundmodell weiß viel, gibt dieses Wissen aber nicht auf Nachfrage heraus. Man musste es früher austricksen, indem man Beispiele vorschrieb und den Text so anfing, dass die Fortsetzung zufällig die gewünschte Antwort war. Instruction Fine-Tuning ersetzt diese Trickserei durch normales Fragen.

Wichtig ist die Größenordnung: Das Grundtraining kostet Millionen und verschlingt Wochen an Rechenzeit. Das Nachtraining mit Anweisungen braucht oft nur Tausende bis wenige Hunderttausend Beispiele. Es ist also vergleichsweise billig, hat aber enormen Effekt auf die Nutzbarkeit. Man kann es sich wie eine Einarbeitung vorstellen: Das Fachwissen ist längst da, gelernt wird nur noch die Arbeitsweise.

Genau deshalb ist dieser Schritt auch für kleinere Firmen interessant. Sie können ein frei verfügbares Grundmodell nehmen und mit eigenen Beispielen auf ihre Aufgaben abstimmen. Ein neues Modell von Null zu trainieren, wäre für sie unbezahlbar.

Wie die Beispielpaare entstehen

Das Trainingsmaterial besteht aus Paaren: eine Anweisung und eine gute Antwort darauf. Also etwa « Fasse diesen Text in drei Sätzen zusammen » plus die passende Zusammenfassung. Solche Paare schreiben teilweise bezahlte Fachleute. Teilweise werden sie von anderen, größeren Modellen erzeugt und danach von Menschen geprüft.

Beim Training läuft technisch dasselbe ab wie vorher: Das Modell sagt das nächste Wort voraus und wird korrigiert, wenn es abweicht. Der Unterschied liegt allein im Material. Statt zufälliger Internettexte sieht es jetzt ausschließlich saubere Anweisung-Antwort-Paare. Dadurch verschiebt sich sein Verhalten, ohne dass es sein Wissen verliert.

Danach folgt meist noch eine weitere Stufe, oft mit Rückmeldungen von Menschen. Dort bewerten Leute mehrere Antworten und sagen, welche sie besser finden. Das ist ein eigener Schritt und nicht Teil des Instruction Fine-Tunings. Ein häufiger Irrtum ist, dass diese Nachtrainings dem Modell neues Faktenwissen einbauen. Sie formen vor allem den Stil und die Bereitschaft, Anweisungen zu befolgen.

Wo Instruction-Modelle im Angebot auftauchen

Wer Modelle herunterlädt, sieht die Unterscheidung direkt im Namen. Varianten mit dem Zusatz « Instruct » oder « Chat » haben dieses Nachtraining hinter sich. Varianten mit dem Zusatz « Base » sind die rohen Grundmodelle. Für einen Chatbot nimmt man die Instruct-Version, für eigene Experimente manchmal die Base-Version.

Auch in Firmen begegnet man dem Begriff. Ein Versicherer kann ein offenes Modell mit einigen Tausend eigenen Fällen nachtrainieren, damit es Schadensmeldungen im hauseigenen Format sortiert. Das ist billiger als ein eigenes Modell und oft genauer als ein allgemeiner Chatbot. In Meldungen über neue KI-Produkte steckt dieser Schritt fast immer irgendwo im Ablauf.

Abzugrenzen ist das Ganze vom Prompting, also vom geschickten Formulieren einer Anfrage. Prompting ändert das Modell nicht, es nutzt nur seine bestehenden Fähigkeiten. Instruction Fine-Tuning verändert dagegen die Zahlen im Modell dauerhaft. Für einmalige Aufgaben genügt Prompting, für wiederkehrende Spezialaufgaben lohnt das Nachtraining.