Quantisierung

Ein KI-Modell besteht im Kern aus Milliarden einzelner Zahlen. Diese Zahlen hat das Modell beim Lernen aus Beispieldaten selbst eingestellt, und sie legen fest, wie es antwortet. Wie genau eine solche Zahl gespeichert wird, kann man wählen: sehr fein, mit vielen Nachkommastellen, oder gröber, mit weniger. Quantisierung ist der Vorgang, bei dem man alle diese Zahlen von einer feinen auf eine gröbere Darstellung umstellt. Ein Vergleich: Statt "3,14159265" schreibt man einfach "3,14". Die Zahl ist noch brauchbar, braucht aber viel weniger Platz.

Warum große Modelle ohne sie nicht auf normale Hardware passen

Der Speicherbedarf eines Modells lässt sich grob ausrechnen. Ein Modell mit 70 Milliarden Zahlen belegt bei der üblichen feinen Darstellung rund 140 Gigabyte. Das passt auf keine einzelne Grafikkarte, die man kaufen kann. Speichert man dieselben Zahlen gröber, mit einem Viertel des Platzes, schrumpft das Modell auf etwa 35 Gigabyte. Plötzlich läuft es auf einem einzelnen leistungsfähigen Rechner.

Der zweite Gewinn ist Geschwindigkeit. Beim Antworten muss der Prozessor sämtliche Zahlen des Modells durch die Leitungen zum Rechenwerk schaufeln. Diese Leitungen sind oft der Engpass, nicht das Rechnen selbst. Weniger Daten bedeuten also direkt kürzere Wartezeit und geringere Stromkosten.

Deshalb ist Quantisierung ein wirtschaftliches Thema, nicht nur ein technisches. Wer einen Chatbot mit Millionen Anfragen pro Tag betreibt, spart mit gröberen Zahlen echtes Geld. Und für Handys und Laptops ist es oft die einzige Möglichkeit, ein Modell überhaupt lokal laufen zu lassen, also ohne Verbindung zu einem Rechenzentrum.

Wie aus feinen Zahlen ein Raster wird

Technisch legt man ein Raster über den Bereich, in dem die Zahlen liegen. Angenommen, die Werte einer Gruppe liegen zwischen minus zwei und plus zwei. Bei 8 Bit stehen 256 mögliche Stufen zur Verfügung. Jede echte Zahl wird auf die nächstgelegene Stufe gerundet, und gespeichert wird nur die Stufennummer. Zusätzlich merkt sich das Programm, wie breit eine Stufe war, um später wieder zurückrechnen zu können.

Die dabei entstehenden Rundungsfehler heißen Quantisierungsfehler. Bei 8 Bit sind sie meist so klein, dass man am Ergebnis kaum etwas merkt. Bei 4 Bit, also nur 16 Stufen, wird es deutlich heikler. Moderne Verfahren behandeln deshalb nicht alle Zahlen gleich: besonders empfindliche Stellen im Modell bleiben fein, unkritische werden stark vereinfacht.

Zwei Wege sind üblich. Beim einen quantisiert man das fertig trainierte Modell nachträglich, was schnell geht und keine großen Datenmengen braucht. Beim anderen berücksichtigt man die Grobheit schon während des Trainings, sodass das Modell sich daran anpassen kann. Der zweite Weg liefert bessere Ergebnisse, kostet aber Rechenzeit. Nicht verwechseln sollte man Quantisierung mit Destillation: dort trainiert man ein kleineres Modell nach dem Vorbild eines großen, statt nur die Zahlen des vorhandenen gröber zu speichern.

Woran man quantisierte Modelle in Downloads und Meldungen erkennt

Wer frei verfügbare KI-Modelle herunterlädt, stößt sofort auf Kürzel wie Q4, Q8, INT8 oder FP16. Die Zahl gibt an, wie viele Bit pro Wert verwendet werden. Von einem einzigen Modell existieren häufig ein Dutzend solcher Varianten, von sehr klein und ungenau bis groß und präzise. Man wählt nach dem Speicher der eigenen Grafikkarte aus.

Auch unbemerkt ist Quantisierung überall im Einsatz. Die Spracherkennung im Handy, die Gesichtserkennung in der Fotogalerie und die Übersetzungsfunktion im Browser nutzen quantisierte Modelle. Ohne sie wären diese Funktionen zu langsam oder würden den Akku leeren.

In Finanz- und Technikmeldungen taucht der Begriff meist im Zusammenhang mit Kosten auf. Wenn ein Anbieter berichtet, er habe den Preis pro Anfrage halbiert, steckt oft Quantisierung dahinter. Ein verbreiteter Irrtum ist übrigens, ein quantisiertes Modell sei ein anderes, kleineres Modell. Es ist dasselbe Modell, nur mit ungenauer notierten Zahlen.