Destillation (KI)
Destillation ist ein Verfahren, bei dem ein großes, teures KI-Programm einem kleineren beibringt, sich möglichst ähnlich zu verhalten. Das kleine Programm braucht danach viel weniger Rechenleistung und passt oft sogar auf ein Handy.
Große Computerprogramme, die Texte schreiben oder Bilder erkennen, brauchen sehr viel Rechenleistung. Sie laufen deshalb meist in riesigen Rechenzentren und kosten im Betrieb viel Geld. Destillation ist ein Trick, um das zu ändern. Man lässt das große Programm sehr viele Aufgaben lösen und schreibt seine Antworten mit. Ein kleineres Programm wird dann mit genau diesen Antworten trainiert, also darauf angepasst, sie nachzuahmen. Am Ende steht ein Programm, das viel weniger Speicher und Strom braucht, aber bei vielen Aufgaben fast genauso gut abschneidet.
Der Preis pro Antwort
Jede Antwort eines KI-Systems kostet Rechenzeit, und Rechenzeit kostet Geld. Ein Anbieter mit Millionen Nutzern zahlt diese Kosten jeden Tag aufs Neue. Ein destilliertes Modell kann leicht zehnmal billiger sein als das Original. Genau deshalb ist Destillation für Unternehmen so attraktiv.
Dazu kommt die Geschwindigkeit. Kleine Modelle antworten schneller, weil sie weniger zu rechnen haben. Für einen Chat, eine Suchfunktion oder eine Übersetzung im Browser ist das entscheidend. Niemand wartet gern zehn Sekunden auf einen einzelnen Satz.
Der dritte Grund ist der Ort der Rechnung. Ein kleines Modell läuft direkt auf einem Handy oder Laptop, ohne Umweg über das Internet. Die Daten bleiben dann auf dem Gerät, was für den Datenschutz ein echter Vorteil ist. Auch offline funktioniert so etwas noch.
Lehrer, Schüler und die weichen Antworten
Fachleute nennen das große Modell Lehrer und das kleine Schüler. Der Lehrer bekommt tausende Beispielaufgaben und produziert dazu Antworten. Diese Paare aus Aufgabe und Antwort bilden das Übungsmaterial für den Schüler. Der Schüler wird solange angepasst, bis seine Ausgaben denen des Lehrers stark ähneln.
Wichtig ist dabei ein Detail: Der Schüler lernt nicht nur die fertige Antwort. Er sieht auch, für wie wahrscheinlich der Lehrer die Alternativen hielt. Wenn der Lehrer bei einem Bild zu 70 Prozent auf Wolf und zu 25 Prozent auf Husky tippt, steckt darin die Information, dass sich diese beiden ähneln. Man spricht von weichen Antworten, und sie sind lehrreicher als ein schlichtes Richtig oder Falsch.
Ein verbreiteter Irrtum ist, das kleine Modell sei einfach eine zusammengeschnittene Kopie des großen. Das stimmt nicht. Der Schüler hat oft einen ganz anderen inneren Aufbau und startet als leeres Modell. Übertragen wird nur das Verhalten, nicht die Bauweise. Deshalb bleibt der Schüler in Randbereichen meist schwächer: Was der Lehrer in den Übungsaufgaben nie zeigen musste, lernt der Schüler auch nicht.
Mini-Modelle in Produkten und im Streit um Trainingsdaten
Fast jeder große Anbieter verkauft heute mehrere Größen desselben Systems. Namen wie Mini, Flash, Haiku oder Nano weisen auf kleine Varianten hin, die häufig destilliert wurden. In der Praxis wählt eine App die Größe passend zur Aufgabe. Für eine simple Zusammenfassung nimmt sie das kleine Modell, für eine knifflige Analyse das große.
Auch auf Geräten steckt die Technik. Die Übersetzungs- und Diktierfunktionen moderner Smartphones nutzen stark verkleinerte Modelle. Ebenso Sprachassistenten in Autos, die auch im Funkloch reagieren sollen. Ohne Destillation wären solche Funktionen kaum bezahlbar.
In den Nachrichten taucht der Begriff zusätzlich in einem Streitthema auf. Man kann nämlich auch fremde Modelle als Lehrer benutzen, indem man sie massenhaft befragt und die Antworten sammelt. Die Nutzungsbedingungen vieler Anbieter verbieten das ausdrücklich. Als Anfang 2025 das chinesische Modell DeepSeek R1 erschien, stand genau dieser Vorwurf im Raum. Solche Fälle sind schwer zu beweisen, prägen aber die Debatte über faire Konkurrenz bei KI.