Knowledge Distillation
Knowledge Distillation ist ein Trainingsverfahren, bei dem ein großes, teures KI-Modell einem kleineren beibringt, sich ähnlich zu verhalten. Das kleine Modell braucht danach viel weniger Rechenleistung und passt oft sogar auf ein Handy.
Programme wie ChatGPT bestehen aus riesigen Rechenmodellen, die aus Beispieltexten gelernt haben. Solche Modelle können erstaunlich viel, brauchen dafür aber teure Spezialcomputer. Knowledge Distillation ist ein Weg, dieses Können auf ein deutlich kleineres Programm zu übertragen. Das große Modell nennt man dabei den Lehrer, das kleine den Schüler. Der Schüler wird nicht neu auf die Welt losgelassen, sondern lernt gezielt, die Antworten des Lehrers nachzuahmen. Am Ende steht ein Programm, das fast so gut arbeitet, aber einen Bruchteil der Rechenleistung kostet.
Warum Firmen kleine Modelle wollen
Ein großes Sprachmodell zu betreiben kostet bei jeder einzelnen Anfrage Geld. Wenn Millionen Menschen täglich Fragen stellen, summiert sich das zu erheblichen Beträgen. Ein destilliertes Modell kann dieselbe Aufgabe oft zehnmal billiger erledigen. Deshalb steckt hinter vielen günstigen KI-Diensten ein kleines Modell, das von einem großen gelernt hat.
Dazu kommt die Geschwindigkeit. Kleine Modelle antworten schneller, weil sie weniger rechnen müssen. Für eine Übersetzungs-App oder eine Autovervollständigung ist eine halbe Sekunde Verzögerung schon störend. Außerdem passen kleine Modelle auf Geräte, die man in der Hand hält. Sie laufen dann direkt auf dem Smartphone, ohne dass Daten an einen fremden Server geschickt werden. Das ist auch ein Vorteil für den Datenschutz.
Ein Nebeneffekt ist umstritten: Man kann fremde Modelle destillieren, indem man ihnen massenhaft Fragen stellt und die Antworten zum Training nutzt. Anbieter verbieten das in ihren Nutzungsbedingungen ausdrücklich. Ob solche Verbote rechtlich halten, ist noch nicht geklärt. Genau darum gab es in den letzten Jahren mehrere öffentliche Streitfälle zwischen KI-Firmen.
Was der Schüler vom Lehrer abschaut
Ein KI-Modell gibt selten nur eine einzige Antwort aus. Intern vergibt es Wahrscheinlichkeiten an viele mögliche Antworten. Bei einem Bild einer Katze sagt es vielleicht: zu 80 Prozent Katze, zu 15 Prozent Luchs, zu 1 Prozent Hund. Genau diese abgestufte Einschätzung ist der eigentliche Schatz. Sie verrät, welche Dinge sich für das Modell ähnlich sehen.
Beim normalen Training bekommt ein Modell nur die harte Wahrheit vorgesetzt: Katze, fertig. Bei der Destillation bekommt der Schüler stattdessen die volle Wahrscheinlichkeitsverteilung des Lehrers. Dadurch lernt er nicht nur die richtige Antwort, sondern auch, wie sicher man sich sein darf. Fachleute nennen diese abgestuften Werte weiche Ziele. Sie enthalten mehr Information pro Beispiel und machen das Training des Schülers effizienter.
Bei Sprachmodellen läuft es meist etwas anders. Dort erzeugt der Lehrer erst einmal große Mengen an Beispielantworten, oft samt ausformulierter Zwischenschritte. Diese Texte werden dann als Trainingsmaterial für den Schüler verwendet. Wichtig ist die Grenze zur bloßen Modellverkleinerung: Beim Quantisieren rechnet man dasselbe Modell nur ungenauer, bei der Destillation entsteht ein eigenes, neu trainiertes Modell.
Destillierte Modelle im Alltag erkennen
Viele Anbieter veröffentlichen ihre Modelle in mehreren Größen. Namenszusätze wie Mini, Flash, Lite oder Haiku deuten fast immer auf ein kleineres Modell hin, das von einer größeren Variante profitiert hat. In Preislisten stehen diese Versionen mit deutlich niedrigeren Kosten pro Anfrage. Wer eine KI in eine eigene App einbaut, wählt sie oft bewusst für einfache Aufgaben.
Auch auf dem eigenen Gerät begegnet man dem Verfahren ständig. Die Spracherkennung im Handy, die Textvorschläge der Tastatur und die Bildverbesserung der Kamera nutzen kleine Modelle. Sie wären in voller Größe für einen Akku viel zu hungrig. Ohne Destillation und ähnliche Techniken müsste jede dieser Funktionen über das Internet laufen.
Ein häufiger Irrtum ist, ein destilliertes Modell sei einfach eine Kopie des großen. Das stimmt nicht. Der Schüler hat weniger Kapazität und verliert deshalb Fähigkeiten, meist bei seltenem Spezialwissen und langen Denkketten. Bei Standardaufgaben fällt das kaum auf, bei kniffligen Fragen dagegen deutlich. Deshalb kombinieren viele Dienste beides: das kleine Modell antwortet zuerst, das große springt bei schwierigen Anfragen ein.