Model Distillation

Große KI-Systeme wie die hinter Chatbots bestehen aus riesigen Mengen an Zahlenwerten, die beim Lernen eingestellt wurden. Je mehr solcher Werte ein System hat, desto mehr Rechenleistung kostet jede einzelne Antwort. Model Distillation ist ein Weg, diese Kosten zu senken. Man nimmt ein großes, sehr fähiges System und lässt es ein kleineres trainieren. Das große heißt dabei Lehrer, das kleine Schüler. Der Schüler übernimmt möglichst viel vom Verhalten des Lehrers, bleibt aber klein und schnell. Der Name kommt aus der Chemie: wie beim Destillieren soll das Wesentliche übrig bleiben.

Warum kleine Modelle plötzlich reichen

Ein großes KI-System zu betreiben ist teuer. Jede Anfrage belegt spezielle Grafikchips in einem Rechenzentrum, und die kosten Geld und Strom. Bei Millionen Nutzern summiert sich das zu enormen Beträgen. Ein destilliertes Modell kann fünf- oder zehnmal kleiner sein und dabei bei alltäglichen Aufgaben fast gleich gut abschneiden.

Dazu kommt die Geschwindigkeit. Kleine Modelle antworten schneller, weil weniger gerechnet werden muss. Für einen Übersetzer in einer App oder eine Suchvorschlagsfunktion ist Wartezeit ein echtes Problem. Manche destillierten Modelle sind so klein, dass sie direkt auf dem Handy oder im Auto laufen. Dann bleiben die Daten auf dem Gerät und müssen nicht ins Internet geschickt werden.

Ein Nebeneffekt ist wirtschaftlich brisant. Wer Zugriff auf ein starkes Modell hat, kann dessen Fähigkeiten teilweise in ein eigenes, günstiges Modell überführen. Anbieter verbieten das in ihren Nutzungsbedingungen oft ausdrücklich. Der Vorwurf, ein Konkurrent habe fremde Modelle abdestilliert, taucht in der Branche regelmäßig auf.

Was der Lehrer dem Schüler verrät

Der naive Weg wäre, den Schüler mit den fertigen Antworten des Lehrers zu füttern. Das funktioniert, verschenkt aber Information. Denn ein Sprachmodell entscheidet nie hart, sondern gibt jedem möglichen nächsten Wort eine Wahrscheinlichkeit. Genau diese Verteilung ist beim Destillieren wertvoll.

Ein Beispiel: Auf die Frage nach der Hauptstadt von Australien antwortet der Lehrer mit 90 Prozent Canberra, mit 7 Prozent Sydney und mit 3 Prozent Melbourne. Der Schüler lernt daraus nicht nur die richtige Antwort. Er lernt auch, welche Fehler naheliegend sind und welche völlig abwegig wären. Fachleute nennen diese Zwischeninformation weiche Ziele, im Gegensatz zu einer einzigen harten richtigen Lösung.

Bei modernen Sprachmodellen kommt eine zweite Variante hinzu. Der Lehrer erzeugt große Mengen an Beispielaufgaben samt ausführlichem Lösungsweg. Der Schüler trainiert dann auf diesem selbst erzeugten Material. Das ist besonders wirksam beim Rechnen und Programmieren, weil der Schüler das schrittweise Vorgehen nachahmt. Grenzen gibt es aber: Ein Schüler wird selten besser als sein Lehrer, und Fehler des Lehrers wandern mit.

Destillierte Modelle in Produkten und Schlagzeilen

Fast jeder große Anbieter verkauft heute mehrere Größen desselben Modells. Die kleineren Varianten mit Zusätzen wie mini, flash oder nano sind oft destilliert oder anders verkleinert. Sie kosten pro Anfrage einen Bruchteil und sind für einfache Aufgaben die übliche Wahl. Entwickler kombinieren beides: kleine Modelle für Routine, das große nur für schwierige Fälle.

Auch im Handy steckt die Technik. Spracherkennung, Kameraeffekte oder Textvorschläge laufen häufig auf verkleinerten Modellen direkt auf dem Gerät. In den Nachrichten wurde Distillation vor allem Anfang 2025 zum Thema, als die chinesische Firma DeepSeek erstaunlich günstige Modelle vorstellte. Amerikanische Anbieter äußerten damals den Verdacht, ihre Systeme seien als Lehrer benutzt worden.

Ein häufiger Irrtum: Distillation ist nicht dasselbe wie Quantisierung. Bei der Quantisierung bleibt das Modell gleich groß, seine Zahlen werden nur gröber gespeichert. Bei der Distillation entsteht dagegen ein neues, kleineres Modell. In der Praxis wendet man oft beides hintereinander an.