Logit Distillation

Große KI-Modelle sind teuer im Betrieb, kleine sind billig, aber oft schwächer. Logit Distillation ist ein Weg, ein kleines Modell von einem großen lernen zu lassen. Das große Modell heißt Lehrer, das kleine Schüler. Der Trick liegt darin, was der Schüler zu sehen bekommt. Er lernt nicht nur, welche Antwort der Lehrer gibt, sondern wie sicher der Lehrer sich bei jeder möglichen Antwort war. Diese rohen Sicherheitswerte, die ein Modell intern für jede Antwortmöglichkeit ausrechnet, nennt man Logits — daher der Name.

Warum die Zweifel des Lehrers wertvoll sind

Ein normales Training zeigt dem Modell nur die richtige Antwort. Auf dem Bild ist ein Hund — Punkt, mehr Information gibt es nicht. Das nennt man ein hartes Ziel. Der Lehrer liefert dagegen ein weiches Ziel: 70 Prozent Hund, 25 Prozent Wolf, 4 Prozent Katze, ein winziger Rest für alles andere. In dieser Verteilung steckt eine Aussage, die im harten Ziel fehlt: Hunde und Wölfe sehen sich ähnlich, Katzen sind weiter weg.

Forscher nennen das die dunkle Information des Lehrers. Sie ist gratis mitgeliefert und beschreibt, wie das große Modell die Welt sortiert hat. Der Schüler muss diese Ordnung nicht selbst mühsam aus Rohdaten herausarbeiten. Deshalb lernt er mit weniger Beispielen und weniger Rechenzeit.

Wirtschaftlich ist das entscheidend. Ein Modell, das zehnmal kleiner ist, kostet pro Anfrage grob zehnmal weniger. Es passt außerdem in Geräte, in die das große nie passen würde. Viele der kompakten Modelle, die Firmen kostenlos veröffentlichen, sind auf diese Weise aus einem größeren Modell entstanden.

Temperatur, Weichzeichner und Verlustfunktion

Logits sind zunächst nur Zahlen ohne feste Skala. Um daraus Wahrscheinlichkeiten zu machen, läuft eine Rechenformel darüber, die Softmax heißt. Sie drückt die Werte so, dass sie sich zu 100 Prozent addieren. Das Problem: Große Modelle sind oft sehr entschieden. Sie geben der richtigen Antwort 99 Prozent und allem anderen fast nichts. Dann bleibt vom interessanten Zusatzwissen kaum etwas übrig.

Deshalb arbeitet man mit einem Regler namens Temperatur. Eine hohe Temperatur zieht die Verteilung auseinander, wie ein Weichzeichner über einem Bild. Aus 99 zu 1 werden dann vielleicht 60 zu 40. Die Rangfolge bleibt gleich, aber die feinen Unterschiede werden sichtbar. Lehrer und Schüler werden mit derselben Temperatur betrachtet, damit der Vergleich fair ist.

Beim Training misst eine Verlustfunktion, wie stark die beiden Verteilungen voneinander abweichen. Der Schüler wird so lange angepasst, bis der Abstand klein ist. Meist mischt man beides: ein Teil des Trainings zielt auf den Lehrer, ein Teil auf die echte richtige Antwort. Wichtig ist die Abgrenzung zu verwandten Verfahren. Bei der Feature Distillation kopiert der Schüler auch innere Zwischenergebnisse des Lehrers. Logit Distillation schaut nur auf die Ausgabe und ist deshalb einfacher — die Modelle müssen sich innen nicht ähneln.

Kleine Modelle auf dem Handy und Streit um Lehrer-Zugriff

Wenn ein Sprachassistent direkt auf dem Smartphone läuft, ohne Internetverbindung, steckt fast immer ein destilliertes Modell dahinter. Dasselbe gilt für Übersetzungsfunktionen im Browser oder Kameras, die Objekte offline erkennen. Auch die kleineren Varianten großer Modellfamilien, oft an Kürzeln wie mini, small oder flash erkennbar, entstehen häufig so.

In den Nachrichten taucht der Begriff meist im Zusammenhang mit Streit auf. Anbieter verbieten in ihren Nutzungsbedingungen, mit den Antworten ihres Modells ein Konkurrenzmodell zu trainieren. Genau dieser Vorwurf stand 2025 im Raum, als OpenAI dem chinesischen Anbieter DeepSeek unterstellte, Ausgaben von GPT-Modellen zur Destillation genutzt zu haben. Ein verbreiteter Irrtum ist dabei, dass Destillation immer echte Logits braucht. Über eine öffentliche Schnittstelle bekommt man die meist gar nicht — dann lernt der Schüler nur aus den fertigen Texten des Lehrers, was schwächer wirkt, aber ebenfalls funktioniert.