Q4_K_M
Q4_K_M ist eine bestimmte Art, ein KI-Sprachmodell verkleinert abzuspeichern: Die Zahlen im Modell werden auf rund vier Bit zusammengestaucht, wichtige Teile aber etwas genauer behalten. Das Kürzel taucht überall dort auf, wo Nutzer große Sprachmodelle auf dem eigenen Rechner laufen lassen.
Ein KI-Sprachmodell besteht im Kern aus Milliarden gespeicherter Zahlen. Diese Zahlen legen fest, wie das Modell aus einer Eingabe eine Antwort berechnet. Ursprünglich wird jede dieser Zahlen recht genau gespeichert, mit 16 Bit pro Zahl. Ein Bit ist die kleinste Speichereinheit, also eine einzelne Null oder Eins. Q4_K_M ist eine Anleitung, dieselben Zahlen gröber zu speichern: im Schnitt mit etwa 4,5 Bit statt 16. Dadurch schrumpft eine Modelldatei auf ungefähr ein Viertel ihrer Größe, ohne dass die Antworten merklich schlechter werden.
Warum aus 40 Gigabyte plötzlich 12 werden
Große Sprachmodelle sind vor allem ein Speicherproblem. Ein Modell mit 20 Milliarden Zahlen belegt in voller Genauigkeit rund 40 Gigabyte. So viel Grafikspeicher hat kaum ein normaler PC. In der Q4_K_M-Fassung sind es etwa zwölf Gigabyte, und damit passt dasselbe Modell auf eine gute Gaming-Grafikkarte oder einen neueren Laptop.
Das verändert, wer solche Modelle überhaupt benutzen kann. Ohne Verkleinerung braucht man ein Rechenzentrum oder ein Abo bei einem Anbieter. Mit Verkleinerung läuft das Modell lokal, also auf dem eigenen Gerät. Die eingegebenen Texte verlassen den Rechner dann nicht, was für Firmen mit sensiblen Daten ein starkes Argument ist.
Ein Nebeneffekt ist Tempo. Der Rechner muss bei jeder Antwort alle Modellzahlen aus dem Speicher lesen. Weniger Daten bedeuten weniger Lesearbeit, deshalb antwortet ein verkleinertes Modell oft spürbar schneller. Der Preis ist ein kleiner Qualitätsverlust, der bei Q4_K_M nach den üblichen Messungen im Bereich weniger Prozent liegt.
Was die drei Teile des Kürzels bedeuten
Der Name ist keine Marke, sondern eine Beschreibung. Q steht für Quantisierung, also das Umrechnen genauer Zahlen in gröbere Stufen. Man kann sich das wie ein Thermometer vorstellen, das statt 21,37 Grad nur noch ganze Grad anzeigt. Die 4 gibt an, dass die meisten Zahlen mit vier Bit gespeichert werden, also nur 16 verschiedene Stufen haben.
Das K steht für eine verbesserte Methode, die K-Quants genannt wird. Dabei werden die Zahlen in kleine Blöcke aufgeteilt. Für jeden Block wird zusätzlich ein Maßstab gespeichert, der festlegt, wie grob die 16 Stufen in diesem Block ausfallen. So bleiben Blöcke mit sehr kleinen Werten trotzdem brauchbar genau.
Das M am Ende heißt medium und beschreibt die Mischung. Nicht alle Teile eines Modells reagieren gleich empfindlich auf Ungenauigkeit. Besonders empfindliche Teile speichert Q4_K_M mit sechs statt vier Bit. Daneben gibt es die Varianten S für small und L für large, die weniger oder mehr dieser genaueren Teile enthalten. Q4_K_M gilt als der Kompromiss, der Größe und Qualität am besten ausbalanciert.
Q4_K_M in Download-Listen und Modellnamen
Am häufigsten begegnet einem das Kürzel als Teil eines Dateinamens. Auf Plattformen wie Hugging Face, einer Art App-Store für KI-Modelle, stehen zu einem Modell oft ein Dutzend Dateien zur Auswahl. Sie heißen dann etwa modellname-Q4_K_M.gguf. GGUF ist dabei das Dateiformat, in dem verkleinerte Modelle für den heimischen Einsatz abgelegt werden.
Programme wie Ollama oder LM Studio, mit denen sich Modelle auf dem eigenen Rechner starten lassen, wählen Q4_K_M oft automatisch vor. In Foren und Testberichten dient die Variante deshalb als Standardvergleich: Wenn jemand schreibt, ein Modell laufe mit 30 Wörtern pro Sekunde, ist meist diese Fassung gemeint.
Ein verbreiteter Irrtum ist, dass ein verkleinertes Modell dümmer sei als ein von vornherein kleineres. Das Gegenteil stimmt meist: Ein großes Modell in Q4_K_M schlägt ein kleines Modell in voller Genauigkeit fast immer, bei ähnlicher Dateigröße. Wer die Wahl hat, nimmt daher lieber das größere Modell in gröberer Speicherung.