Knowledge Distillation

Programme wie ChatGPT beruhen auf Modellen: riesigen Rechenvorschriften, die aus vielen Beispielen gelernt haben. Die besten dieser Modelle sind sehr groß und brauchen im Betrieb teure Spezialcomputer. Knowledge Distillation ist ein Weg, dieses Können in ein kleineres Modell zu übertragen. Dazu lässt man das große Modell viele Aufgaben lösen und trainiert das kleine darauf, dieselben Ausgaben zu erzeugen. Das große Modell heißt in diesem Aufbau Lehrer, das kleine Schüler. Am Ende steht ein Modell, das oft nur ein Zehntel so groß ist und trotzdem den größten Teil der Leistung behält.

Warum kleine Modelle plötzlich konkurrenzfähig sind

Ein KI-Modell zu benutzen kostet bei jeder einzelnen Anfrage Strom und Rechenzeit. Bei Millionen Nutzern summiert sich das zu einem der größten Kostenblöcke eines Anbieters. Ein kleineres Modell senkt diese Kosten direkt, oft um eine ganze Größenordnung. Genau deshalb ist Distillation für Unternehmen wirtschaftlich so attraktiv.

Dazu kommt der Ort der Ausführung. Große Modelle laufen in Rechenzentren, kleine passen auf ein Notebook oder ein Smartphone. Damit bleiben Daten auf dem Gerät, und die Antwort kommt ohne Internetverbindung. Für Anwendungen in Kliniken, Behörden oder Autos ist das oft wichtiger als die letzten Prozentpunkte Qualität.

Wichtig ist die Abgrenzung zu verwandten Verfahren. Bei der Quantisierung speichert man die Zahlen eines Modells gröber, das Modell selbst bleibt dasselbe. Bei der Distillation entsteht dagegen ein neues, eigenständig trainiertes Modell. Beides lässt sich kombinieren.

Was der Lehrer dem Schüler außer der Lösung verrät

Ein Sprachmodell gibt nicht einfach ein Wort aus. Es berechnet für viele mögliche Wörter jeweils eine Wahrscheinlichkeit. Nach dem Satzanfang « Der Hund bellt laut im » könnten etwa « Garten » 60 Prozent bekommen, « Hof » 25 Prozent und « Zimmer » 5 Prozent. Diese komplette Verteilung ist der eigentliche Schatz beim Distillieren.

Trainiert man ein Modell nur mit fertigen Texten, lernt es ausschließlich: hier steht « Garten ». Bekommt es dagegen die Verteilung des Lehrers, lernt es zusätzlich, welche Alternativen ebenfalls plausibel waren. Diese Zusatzinformation nennt man weiches Wissen. Sie steckt viel Erfahrung in wenige Trainingsbeispiele und macht das Lernen effizienter.

In der Praxis läuft das oft anders herum ab, als der Name vermuten lässt. Man lässt den Lehrer sehr viele Aufgaben lösen, gern mit ausführlichen Zwischenschritten. Diese Antworten werden gesammelt und bilden den Trainingsdatensatz für den Schüler. Ein typischer Irrtum ist, der Schüler könne den Lehrer dabei übertreffen. Er kann dessen Fehler und Vorurteile mitlernen, aber nur selten Fähigkeiten entwickeln, die der Lehrer nicht hatte.

Distillation in Produkten und in den Schlagzeilen

Fast jeder große Anbieter verkauft heute mehrere Größen desselben Modells. Namen mit Zusätzen wie « mini », « flash », « lite » oder « small » deuten meist auf destillierte Varianten hin. Wer eine Programmierschnittstelle nutzt, zahlt für diese Versionen einen Bruchteil des Preises. Auch die KI-Funktionen direkt auf neueren Smartphones beruhen auf solchen geschrumpften Modellen.

In den Nachrichten taucht der Begriff außerdem als Streitpunkt auf. Anbieter verbieten in ihren Nutzungsbedingungen häufig, mit den Ausgaben ihres Modells ein Konkurrenzmodell zu trainieren. Anfang 2025 gab es genau darüber öffentliche Vorwürfe gegen das chinesische Labor DeepSeek. Der Nachweis ist schwierig, weil man einem fertigen Modell kaum ansieht, woher seine Trainingsdaten stammten.

Für Firmen ist Distillation zudem ein Standardweg zu Spezialmodellen. Man nimmt ein starkes Allzweckmodell als Lehrer und destilliert es für eine einzige Aufgabe, etwa das Sortieren von Kundenanfragen. Das Ergebnis ist bei dieser einen Aufgabe oft ebenbürtig, aber dauerhaft billig im Betrieb.