Distillation

Große KI-Systeme wie Chatbots bestehen aus riesigen Rechenmodellen. Solche Modelle geben gute Antworten, brauchen aber sehr viel Rechenleistung und Strom. Distillation ist ein Trick, um diesen Aufwand zu verkleinern. Man lässt ein großes, gutes System viele Beispielaufgaben lösen. Ein kleineres System übt dann daran, dieselben Ergebnisse zu liefern. Am Ende hat man ein schlankes Programm, das sich fast wie das große verhält. Der englische Begriff bedeutet wörtlich Destillation: Man zieht das Wesentliche heraus und lässt den Rest weg.

Warum das wichtig ist

Jede Antwort einer KI kostet Geld, weil Rechenzentren dafür Chips und Strom verbrauchen. Ein Modell, das nur ein Zehntel so groß ist, kostet im Betrieb entsprechend weniger. Deshalb ist Distillation für Unternehmen ein direkter Hebel auf die Marge.

Es geht aber nicht nur um Kosten. Kleine Modelle passen auf Geräte, die keine Internetverbindung brauchen. Die Sprachsteuerung im Auto oder die Textvorschläge auf dem Handy laufen oft lokal. Das ist schneller und die Daten verlassen das Gerät nicht.

Ein dritter Punkt macht das Verfahren politisch brisant. Wer ein fremdes Spitzenmodell als Lehrer benutzt, kann dessen Fähigkeiten teilweise abschöpfen, ohne die Milliarden für das Training zu zahlen. Genau darüber streiten Anbieter regelmäßig, weil ihre Nutzungsbedingungen das meist verbieten.

Wie es funktioniert

Man unterscheidet zwei Rollen: Lehrer und Schüler. Der Lehrer ist das große, fertig trainierte Modell. Der Schüler ist ein deutlich kleineres Modell, das noch nichts kann.

Nun stellt man dem Lehrer sehr viele Fragen und sammelt seine Antworten. Diese Antworten sind das Übungsmaterial für den Schüler. Er wird so lange angepasst, bis er bei denselben Fragen möglichst ähnlich antwortet.

Der eigentliche Kniff liegt darin, was der Lehrer preisgibt. Ein Sprachmodell entscheidet nicht einfach für ein Wort, sondern gibt für viele mögliche Wörter eine Wahrscheinlichkeit an. Bei der Frage nach der Hauptstadt Australiens könnte es Canberra mit hoher, Sydney mit mittlerer und Berlin mit fast keiner Wahrscheinlichkeit nennen. Diese Abstufung verrät, wie sicher sich das Modell ist und welche Alternativen es überhaupt erwägt. Der Schüler lernt daran mehr als aus einer bloßen Musterlösung.

Der Vergleich mit Schulunterricht trägt hier gut. Ein Schüler, der nur die richtige Antwort auswendig lernt, versteht wenig. Sieht er dagegen die typischen Fehler und die Begründung dazu, lernt er schneller. Ähnlich nutzt das kleine Modell die Unsicherheiten des Lehrers als zusätzliche Information.

Kostenlos ist das nicht. Der Schüler bleibt in der Regel etwas schwächer als der Lehrer, besonders bei schwierigen Aufgaben. Und er erbt dessen Fehler und Vorurteile mit.

Wo man dem Begriff begegnet

Fast alle großen Anbieter verkaufen ihre Modelle in mehreren Größen. Die kleinen Varianten heißen oft Mini, Flash, Nano oder Lite. Sie sind meist destillierte Versionen des großen Geschwistermodells.

In Nachrichten taucht der Begriff besonders bei Streitfällen auf. Als das chinesische Unternehmen DeepSeek Anfang 2025 ein überraschend starkes und günstiges Modell vorstellte, warf OpenAI dem Anbieter vor, seine Systeme als Lehrer benutzt zu haben. Solche Vorwürfe sind schwer zu beweisen, weil sich Antworten kaum eindeutig zurückverfolgen lassen.

Auch im Alltag ist das Verfahren präsent, ohne dass es genannt wird. Offline-Übersetzung, Diktierfunktionen und Kamerafilter beruhen oft auf verkleinerten Modellen. Wenn Anbieter also mit sinkenden KI-Preisen werben, steckt hinter dem Sparen häufig Distillation.