On-Policy-Distillation
On-Policy-Distillation ist ein Trainingsverfahren, bei dem ein kleines KI-Modell seine eigenen Antworten erzeugt und ein großes Modell diese Antworten Schritt für Schritt bewertet. So lernt das kleine Modell genau dort, wo es tatsächlich Fehler macht — und nicht an fremden Musterlösungen vorbei.
Große Sprachprogramme wie ChatGPT sind teuer im Betrieb, weil sie enorm viel Rechenleistung brauchen. Deshalb versucht man, ihr Können auf ein kleineres, sparsameres Programm zu übertragen. Dieses Übertragen nennt man Destillation: ein großer Lehrer gibt sein Wissen an einen kleinen Schüler weiter. Bei der On-Policy-Distillation läuft das nach einem besonderen Muster ab. Der Schüler schreibt seine Antworten zuerst selbst, und der Lehrer sagt anschließend zu jedem einzelnen Wort, wie gut es gepasst hätte. Der englische Ausdruck « on-policy » bedeutet dabei genau das: geübt wird an dem, was der Schüler von sich aus produziert.
Warum Musterlösungen allein nicht reichen
Beim klassischen Vorgehen bekommt das kleine Modell fertige Texte des großen Modells vorgesetzt und soll sie nachahmen. Das funktioniert, hat aber einen Konstruktionsfehler. Das kleine Modell übt nur an Sätzen, die es selbst nie so geschrieben hätte. Im echten Einsatz landet es dann schnell in Situationen, die im Training nie vorkamen.
Fachleute nennen dieses Problem Fehlerakkumulation. Ein erster kleiner Schnitzer bringt das Modell auf eine ungewohnte Bahn. Dort hat es nie geübt, also wird der zweite Fehler größer, der dritte noch größer. Bei langen Rechenwegen oder mehrstufigen Begründungen kippt so eine Antwort komplett.
Ein Vergleich aus dem Sport trifft es gut. Man kann Videos von Profis anschauen, so viele man will. Besser wird man erst, wenn jemand beim eigenen Spiel danebensteht und die eigenen Fehler korrigiert. Genau diesen Wechsel vollzieht On-Policy-Distillation.
Was der Lehrer bei jedem Wort bewertet
Ein Sprachmodell schreibt Text Wort für Wort. Bei jedem Schritt berechnet es für tausende mögliche Fortsetzungen eine Wahrscheinlichkeit. Diese Verteilung ist mehr als nur die Entscheidung für ein Wort. Sie zeigt, wie sicher sich das Modell ist und welche Alternativen es erwogen hat.
Beim Training erzeugt der Schüler zunächst eine vollständige Antwort. Danach liest der Lehrer diese Antwort und berechnet für jede Position seine eigene Wahrscheinlichkeitsverteilung. Die Trainingssoftware vergleicht beide Verteilungen und misst den Abstand. Der Schüler wird dann so angepasst, dass sein Verhalten dem des Lehrers näher kommt.
Das ist deutlich mehr Information als eine reine Note am Ende. Beim verwandten Verfahren Reinforcement Learning gibt es oft nur ein Signal für die gesamte Antwort: richtig oder falsch. Hier bekommt der Schüler dagegen zu jedem einzelnen Wort eine Rückmeldung. Genau deshalb kommt On-Policy-Distillation mit weniger Trainingsdurchläufen aus und gilt als vergleichsweise recheneffizient.
Kleine Modelle in Produkten und Schlagzeilen
Der Begriff taucht auf, wenn Anbieter kompakte Varianten ihrer Modelle vorstellen. Typische Namenszusätze sind « mini », « flash » oder « small ». Solche Versionen sollen fast so gut antworten wie das große Original, aber einen Bruchteil kosten. Destillationsverfahren sind ein zentraler Baustein, um das zu erreichen.
Besonders wichtig wird das bei Modellen, die auf dem Handy oder im Auto laufen sollen. Dort gibt es kein Rechenzentrum im Hintergrund. Auch Firmen nutzen die Technik, um ein allgemeines Modell auf ihr Fachgebiet zuzuschneiden, etwa auf Rechtstexte oder Kundenanfragen.
Ein verbreiteter Irrtum ist, ein destilliertes Modell sei eine geschrumpfte Kopie des Lehrers. Das stimmt nicht. Es übernimmt vor allem das Antwortverhalten in einem bestimmten Bereich, nicht das gesamte Wissen. Außerdem bleibt der Lehrer die Obergrenze: Ein Schüler wird durch Destillation praktisch nie besser als das Modell, von dem er lernt.