Modellkompression

Ein KI-Modell ist im Kern eine riesige Sammlung von Zahlen. Diese Zahlen legen fest, wie das Programm aus einer Eingabe eine Antwort berechnet. Bei großen Sprachmodellen sind es hunderte Milliarden solcher Zahlen, und jede belegt Speicherplatz. Ein einzelnes Modell kann so mehrere hundert Gigabyte groß sein, mehr als die Festplatte vieler Laptops. Modellkompression ist der Sammelbegriff für alle Techniken, die diese Zahlenmenge verkleinern oder vereinfachen. Das Modell soll danach dasselbe können wie vorher, nur mit weniger Aufwand.

Was ein kleineres Modell an Kosten spart

Große Modelle laufen normalerweise auf Spezialchips in Rechenzentren. Diese Chips sind teuer und knapp, und sie verbrauchen viel Strom. Jede einzelne Antwort eines Chatbots kostet den Betreiber deshalb Geld. Wenn ein Modell nur noch halb so viel Speicher braucht, passt es auf günstigere Hardware. Bei Millionen Anfragen pro Tag summiert sich das zu erheblichen Beträgen.

Der zweite Grund ist der Ort der Ausführung. Ein komprimiertes Modell kann direkt auf einem Smartphone oder in einem Auto laufen. Dann muss keine Anfrage mehr über das Internet an einen fremden Server geschickt werden. Das ist schneller, funktioniert ohne Netz und ist für den Datenschutz günstiger, weil private Daten das Gerät nicht verlassen.

Wichtig ist die Abgrenzung zu einem verwandten Gedanken: Kompression heißt nicht, ein kleines Modell von Grund auf neu zu trainieren. Man geht immer von einem bereits fertigen, großen Modell aus und schrumpft es nachträglich. Das ist deutlich billiger, als ein neues Training über Wochen laufen zu lassen.

Die vier gängigen Schrumpfverfahren

Das häufigste Verfahren heißt Quantisierung. Die Zahlen im Modell werden dabei gröber gespeichert, etwa mit 8 statt 16 Stellen Genauigkeit. Man kann sich das wie eine Wettervorhersage vorstellen: ob 21,4 Grad oder 21 Grad angesagt sind, ändert wenig an der Entscheidung, was man anzieht. Für die meisten Rechenschritte im Modell gilt dasselbe, die gröbere Zahl reicht aus.

Beim Pruning werden ganze Verbindungen im Modell gestrichen. Viele Zahlen liegen nahe bei null und tragen kaum etwas zum Ergebnis bei. Man entfernt sie und trainiert das Modell danach kurz nach, damit es sich an die Lücken gewöhnt. Verwandt dazu ist die Faktorisierung, bei der große Zahlentabellen durch mehrere kleinere ersetzt werden, die zusammen fast dasselbe leisten.

Das vierte Verfahren ist die Wissensdestillation. Hier trainiert ein großes Modell ein kleines, indem das kleine versucht, die Antworten des großen nachzuahmen. Der Fachbegriff dafür ist Lehrer-Schüler-Prinzip. Alle vier Verfahren lassen sich kombinieren. In der Praxis kostet jede Stufe etwas Genauigkeit, und die Entwickler suchen den Punkt, an dem der Verlust gerade noch akzeptabel ist.

Komprimierte Modelle in Produkten und Schlagzeilen

Wenn ein Anbieter ein Modell in mehreren Größen veröffentlicht, etwa mit 7, 13 und 70 Milliarden Zahlen, steckt dahinter oft Destillation. Auf Plattformen wie Hugging Face, einer Art App-Store für KI-Modelle, findet man zusätzlich quantisierte Fassungen. Namenszusätze wie „4-bit“ oder „INT8“ verraten, wie stark komprimiert wurde. Solche Versionen laufen auf einem normalen Gaming-PC.

Im Alltag begegnet einem das Ergebnis, ohne dass jemand das Wort benutzt. Spracherkennung ohne Internetverbindung, Übersetzung offline, Gesichtserkennung beim Entsperren des Handys – überall stecken komprimierte Modelle. Auch Assistenzsysteme im Auto arbeiten so, weil eine Verzögerung durch die Funkverbindung dort nicht akzeptabel wäre.

In Wirtschaftsnachrichten taucht das Thema meist bei Kosten und Chip-Nachfrage auf. Ein verbreiteter Irrtum ist, ein komprimiertes Modell sei einfach eine abgespeckte Billigversion. Bei guter Umsetzung ist der Qualitätsunterschied in normalen Aufgaben kaum messbar. Deutlich wird er erst bei schwierigen Aufgaben wie langen Rechenketten oder seltenen Sprachen.