Pruning

Ein KI-Modell besteht aus vielen Millionen oder Milliarden einzelner Zahlen. Diese Zahlen werden beim Training angepasst, bis das Modell seine Aufgabe beherrscht. Am Ende zeigt sich: Ein großer Teil dieser Zahlen ist winzig klein und trägt kaum zum Ergebnis bei. Pruning heißt, genau diese unwichtigen Teile herauszuwerfen. Der englische Begriff kommt aus dem Gartenbau und bedeutet “beschneiden”, so wie man tote Äste von einem Obstbaum entfernt. Das Ziel ist ein Modell, das weniger Speicher braucht und schneller rechnet, aber praktisch dasselbe kann.

Warum große Modelle abspecken müssen

Moderne Sprachmodelle sind riesig. Ein Modell mit 70 Milliarden Zahlen belegt selbst in sparsamer Speicherung über hundert Gigabyte. So etwas läuft nur auf teuren Spezialchips in einem Rechenzentrum. Auf einem Handy oder in einem Auto ist das unmöglich. Pruning ist einer der Wege, ein Modell auf eine Größe zu bringen, die auf normaler Hardware Platz findet.

Dazu kommt der Kostenfaktor. Jede einzelne Anfrage an ein KI-Modell verbraucht Strom und Rechenzeit. Bei Millionen Nutzern pro Tag summiert sich das zu erheblichen Beträgen. Ein um dreißig Prozent kleineres Modell kann entsprechend günstiger betrieben werden. Für Unternehmen ist das oft wichtiger als die letzten Prozentpunkte an Genauigkeit.

Ein zweiter Vorteil ist die Antwortzeit. Wer eine Spracherkennung im Auto nutzt, will keine zwei Sekunden warten. Kleinere Modelle antworten schneller und können direkt auf dem Gerät laufen, ohne Umweg über das Internet. Das schützt zugleich private Daten, weil sie das Gerät nicht verlassen.

Was genau wegfällt

Am einfachsten ist das Entfernen einzelner Zahlen. Man sortiert alle Werte nach ihrer Größe und setzt die kleinsten auf null. Wer zehn Prozent entfernt, merkt meist keinen Unterschied. Wer siebzig Prozent entfernt, riskiert deutlich schlechtere Antworten. Fachleute nennen diese Variante unstrukturiertes Pruning.

Der Haken daran: Verstreute Nullen bringen auf normalen Grafikkarten kaum Geschwindigkeit. Der Chip rechnet trotzdem stur alle Positionen durch. Deshalb gibt es strukturiertes Pruning. Dabei entfernt man ganze zusammenhängende Bausteine, etwa eine komplette Schicht oder eine ganze Reihe von Verbindungen. Das spart echte Rechenzeit, kostet aber mehr Qualität.

Nach dem Beschneiden folgt fast immer ein Nachtraining. Man lässt das verkleinerte Modell noch einmal über Beispieldaten laufen, damit sich die übrigen Zahlen an die Lücken anpassen. Ohne diesen Schritt fällt die Leistung oft spürbar ab. Wichtig ist die Abgrenzung zu einem verwandten Verfahren: Bei der Quantisierung bleiben alle Bausteine erhalten, sie werden nur gröber gespeichert. Pruning wirft dagegen wirklich etwas weg. Beide Verfahren lassen sich kombinieren.

Pruning in Produkten und Schlagzeilen

Wenn ein Anbieter eine “kompakte” oder “mobile” Version seines Modells vorstellt, steckt meist eine Mischung aus Pruning, Quantisierung und Wissensweitergabe an ein kleineres Modell dahinter. Sprachassistenten auf Smartphones, Übersetzung ohne Internetverbindung und Bilderkennung in Kameras nutzen solche verkleinerten Modelle.

In der Wirtschaftspresse taucht der Begriff auf, wenn es um Betriebskosten von Rechenzentren geht. Chip-Hersteller werben inzwischen mit Hardware, die auch verstreute Nullen wirklich überspringt und dadurch von unstrukturiertem Pruning profitiert. Ein verbreiteter Irrtum ist übrigens, Pruning mache ein Modell dümmer, aber sparsamer. Bis zu einem gewissen Grad stimmt das nicht: Die entfernten Teile waren tatsächlich überflüssig. Erst wenn man zu weit schneidet, kippt die Qualität, und zwar oft plötzlich statt allmählich.