Knowledge Distillation

Programme, die Texte schreiben oder Bilder erkennen, bestehen aus Milliarden von Zahlenwerten. Je mehr solcher Werte ein Programm hat, desto mehr kann es meist – aber desto teurer wird auch jede einzelne Antwort. Knowledge Distillation ist ein Weg, dieses Problem zu entschärfen. Ein großes, fähiges Programm bekommt dabei sehr viele Aufgaben gestellt, und ein kleines Programm wird darauf trainiert, dieselben Antworten zu geben. Das große heißt Lehrer, das kleine Schüler. Am Ende steht ein Programm, das deutlich kleiner ist, sich aber in vielen Fällen fast so gut verhält wie sein Vorbild.

Warum kleine Modelle plötzlich konkurrenzfähig sind

Der wichtigste Grund ist Geld. Jede Anfrage an ein sehr großes Modell kostet Rechenzeit in einem Rechenzentrum. Bei Millionen Nutzern pro Tag summiert sich das zu enormen Beträgen. Ein destilliertes Modell mit einem Zehntel der Größe kann dieselbe Aufgabe oft für einen Bruchteil der Kosten erledigen.

Der zweite Grund ist der Ort der Berechnung. Große Modelle laufen zwingend auf Servern, weil sie viel Speicher brauchen. Kleine Modelle passen auf ein Handy, ein Auto oder eine Smartwatch. Dort bleiben die Daten auf dem Gerät, und es funktioniert auch ohne Internetverbindung. Die Übersetzungsfunktion, die offline arbeitet, ist typischerweise ein destilliertes Modell.

Dazu kommt die Geschwindigkeit. Ein kleineres Modell antwortet schneller, weil es weniger Rechenschritte durchläuft. Bei Sprachassistenten oder Suchvorschlägen entscheidet eine halbe Sekunde darüber, ob sich etwas flüssig anfühlt. Deshalb setzen viele Anbieter im Hintergrund gar nicht ihr stärkstes Modell ein, sondern eine destillierte Variante davon.

Was der Lehrer außer der richtigen Antwort noch verrät

Der entscheidende Trick liegt darin, was der Schüler nachahmt. Man könnte ihm einfach die richtigen Lösungen vorlegen, so wie beim normalen Training. Bei der Destillation bekommt er aber die vollständige Einschätzung des Lehrers zu sehen. Ein Bilderkennungsmodell sagt nicht nur „Katze“, sondern zum Beispiel: zu 80 Prozent Katze, zu 15 Prozent Luchs, zu 0,01 Prozent Auto.

Diese Nebenwahrscheinlichkeiten sind wertvoll. Sie zeigen dem Schüler, welche Dinge sich ähneln und welche überhaupt nichts miteinander zu tun haben. Ein Lehrbuch nennt nur die Lösung; ein guter Lehrer erklärt zusätzlich, welche Verwechslung nahe liegt. Genau dieses Zusatzwissen macht das Training effizienter als das Lernen aus rohen Daten.

Bei Sprachmodellen läuft es ähnlich, oft aber über Texte. Das große Modell erzeugt Tausende von Beispielantworten, teils mit ausformulierten Zwischenschritten. Das kleine Modell trainiert auf diesem selbst erzeugten Material. Wichtig ist die Grenze: Der Schüler wird selten besser als der Lehrer. Destillation macht Wissen billiger verfügbar, sie erschafft kein neues.

Mini-Versionen, Lizenzstreit und Nachbau

In Produktnamen taucht das Verfahren fast immer versteckt auf. Wenn ein Anbieter Varianten wie „Mini“, „Flash“, „Lite“ oder „Nano“ anbietet, steckt häufig Destillation dahinter. Auch frei verfügbare Modelle tragen manchmal ein „distill“ im Namen. Sie sind darauf ausgelegt, auf normaler Hardware zu laufen statt auf teuren Spezialchips.

In den Wirtschaftsnachrichten geht es meist um den Streit darüber. Die Nutzungsbedingungen vieler Anbieter verbieten es, ihre Modelle als Lehrer für Konkurrenzprodukte zu verwenden. Genau dieser Vorwurf stand 2025 im Raum, als das chinesische Unternehmen DeepSeek ein sehr günstiges Modell vorstellte. Der Verdacht: Es sei aus Antworten fremder Modelle gelernt worden.

Der Fall zeigt, warum das Thema Anleger interessiert. Wenn sich Fähigkeiten eines Spitzenmodells für vergleichsweise wenig Geld nachbilden lassen, schrumpft der Vorsprung des Marktführers. Ein technisches Detail aus dem Training wird so zur Frage über Geschäftsmodelle und Bewertungen ganzer Unternehmen.