Destillation
Destillation ist ein Verfahren, bei dem ein großes, teures KI-System einem kleineren beibringt, ähnliche Antworten zu geben. Das Ergebnis ist ein kompaktes Modell, das schneller läuft, weniger Rechenleistung braucht und trotzdem viel vom Können des Originals behält.
Ein KI-Modell ist ein Programm, das aus sehr vielen Beispielen gelernt hat, Aufgaben zu lösen. Die leistungsfähigsten dieser Programme sind riesig. Sie brauchen teure Spezialrechner und viel Strom, um überhaupt zu antworten. Bei der Destillation baut man deshalb ein kleines Programm und lässt es die Antworten des großen nachahmen. Das große heißt Lehrer, das kleine Schüler. Am Ende erledigt der Schüler viele Aufgaben fast so gut wie der Lehrer, kostet aber nur einen Bruchteil im Betrieb.
Warum kleine Modelle so viel Geld sparen
Jede Antwort eines KI-Modells kostet Rechenzeit, und Rechenzeit kostet Geld. Bei einem Dienst mit Millionen Nutzern summiert sich das täglich. Ein destilliertes Modell kann zehnmal kleiner sein als sein Lehrer. Entsprechend sinken Stromverbrauch und Serverkosten, oft um eine ganze Größenordnung.
Dazu kommt die Geschwindigkeit. Kleine Modelle antworten schneller, weil sie weniger zu rechnen haben. Das merkt man bei einem Chatbot sofort. Und erst ein kleines Modell passt überhaupt auf ein Handy oder in ein Auto. Dort gibt es kein Rechenzentrum, das aushilft.
Für Firmen ist das strategisch wichtig. Ein Spitzenmodell zu trainieren kostet dreistellige Millionenbeträge. Ein destilliertes Modell auf dessen Basis ist vergleichsweise billig. Deshalb wird auch gestritten, ob man fremde Modelle als Lehrer benutzen darf. Mehrere Anbieter verbieten das in ihren Nutzungsbedingungen ausdrücklich.
Was der Schüler vom Lehrer abschaut
Man schickt dieselbe Frage an Lehrer und Schüler und vergleicht die Antworten. Weicht der Schüler ab, werden seine internen Einstellwerte leicht nachjustiert. Diese Werte heißen Parameter und sind die Stellschrauben, die das Verhalten des Modells bestimmen. Nach Millionen solcher Runden liegen die Antworten dicht beieinander.
Der Trick liegt darin, was genau nachgeahmt wird. Ein Sprachmodell entscheidet nicht einfach für ein nächstes Wort. Es vergibt an alle möglichen Wörter Wahrscheinlichkeiten. Diese ganze Verteilung gibt der Lehrer weiter, nicht nur seinen Favoriten. Darin steckt die Information, welche Alternativen fast genauso gut gewesen wären.
Man kann sich das wie einen Lehrer vorstellen, der nicht nur die Lösung nennt, sondern auch sagt, welche Fehler naheliegend sind. Der Schüler lernt daraus mehr als aus einer nackten Musterlösung. Genau deshalb funktioniert Destillation besser, als das kleine Modell einfach von null auf denselben Daten zu trainieren. Manche Verfahren gehen noch weiter und lassen den Lehrer auch seine Zwischenschritte erklären.
Destillierte Modelle in Produkten und Schlagzeilen
Fast jeder große Anbieter verkauft neben dem Spitzenmodell eine kleinere, günstigere Variante. Namenszusätze wie Mini, Flash, Haiku oder Nano weisen meist darauf hin. Solche Versionen entstehen oft durch Destillation aus dem großen Geschwistermodell. In der Preisliste kosten sie pro Anfrage häufig weniger als ein Zehntel.
Auch im Handy steckt die Technik. Übersetzung ohne Internet, Spracherkennung oder Autokorrektur laufen auf kleinen Modellen direkt auf dem Gerät. Das ist schneller und schützt Daten, weil nichts an einen Server geschickt wird. Ähnlich arbeiten Assistenzsysteme in Autos oder Kameras, die Objekte erkennen.
In den Nachrichten tauchte Destillation Anfang 2025 groß auf. OpenAI warf dem chinesischen Anbieter DeepSeek vor, eigene Modelle als Lehrer missbraucht zu haben. Belegt ist so etwas schwer, weil man dem Schüler nicht ansieht, von wem er gelernt hat. Wichtig ist auch die Abgrenzung: Destillation baut ein neues, kleineres Modell. Quantisierung dagegen speichert die Zahlen eines bestehenden Modells nur gröber und lässt seine Größe im Prinzip unverändert.