GGUF

Ein Programm, das Sprache versteht und Texte schreibt, besteht im Kern aus vielen Milliarden Zahlen. Diese Zahlen sind das Ergebnis eines langen Lernvorgangs und müssen irgendwie auf der Festplatte abgelegt werden. GGUF ist eine feste Regel dafür, wie genau diese Zahlen in einer Datei angeordnet werden. Neben den Zahlen selbst enthält so eine Datei auch Zusatzangaben: den Namen des Modells, seine Größe und Hinweise, wie eine Unterhaltung damit aufgebaut sein muss. Alles steckt in einer einzigen Datei mit der Endung .gguf, die man wie ein Foto oder ein Video herunterladen kann. Der Name ist eine Abkürzung und steht ungefähr für ein vereinheitlichtes Format der Software-Bibliothek GGML.

Warum Modelle damit auf den eigenen Rechner passen

Die bekanntesten KI-Dienste laufen auf teuren Servern, die einem Unternehmen gehören. Jede Eingabe wird dorthin geschickt und dort verarbeitet. GGUF ist der wichtigste Grund dafür, dass es auch anders geht. Wer eine solche Datei herunterlädt, kann das Modell auf dem eigenen Laptop starten, ohne Internetverbindung und ohne Konto.

Das hat handfeste Folgen. Die eingegebenen Texte verlassen den Rechner nicht, was für Ärzte, Anwälte oder Firmen mit Betriebsgeheimnissen entscheidend sein kann. Es entstehen keine laufenden Kosten pro Anfrage. Und niemand kann das Modell nachträglich abschalten oder verändern, denn die Datei liegt auf der eigenen Festplatte.

Ein zweiter Punkt ist die Einheitlichkeit. Vor GGUF gab es viele konkurrierende Formate, und eine Datei lief oft nur mit genau einem Programm. Heute akzeptieren fast alle Werkzeuge für lokale KI dasselbe Format. Man kann eine Datei einmal herunterladen und mit verschiedenen Programmen benutzen.

Gröbere Zahlen, kleinere Dateien

Der entscheidende Trick heißt Quantisierung. Ursprünglich wird jede der Milliarden Zahlen sehr genau gespeichert, meist mit 16 Bit Speicherplatz pro Zahl. Bei der Quantisierung rundet man sie gröber, oft auf nur 4 Bit. Die Datei schrumpft dadurch auf etwa ein Viertel. Ein Modell, das vorher 16 Gigabyte belegt hat, passt danach in rund 4 Gigabyte und damit in den Arbeitsspeicher eines gewöhnlichen Laptops.

Man kann sich das wie bei einer MP3-Datei vorstellen. Auch dort wird Information weggeworfen, um Platz zu sparen, und das Ergebnis klingt trotzdem brauchbar. Genauso verliert ein stark gerundetes Modell etwas an Qualität. Es macht mehr Rechenfehler und formuliert manchmal ungenauer. Bei mäßiger Rundung ist der Unterschied im Alltag aber kaum spürbar.

Deshalb gibt es dasselbe Modell meist in mehreren GGUF-Varianten mit Kürzeln wie Q4 oder Q8. Die Zahl gibt grob an, wie viele Bit pro Zahl übrig bleiben. Wer viel Arbeitsspeicher hat, nimmt eine große Variante, wer wenig hat, eine kleine. Ein weiterer Vorteil des Formats: Das Programm muss nicht die ganze Datei einlesen, sondern kann gezielt die Teile laden, die es gerade braucht. Der Start geht dadurch schneller.

Lokale KI-Programme und Modell-Downloads

Am häufigsten trifft man auf GGUF bei Programmen, mit denen man KI-Modelle selbst betreibt. Bekannte Beispiele sind llama.cpp, Ollama und LM Studio. Man sucht dort ein Modell aus, das Programm lädt die passende GGUF-Datei herunter, und danach kann man in ein Chatfenster tippen wie gewohnt. Auf der Plattform Hugging Face, einer Art öffentlichem Lager für KI-Modelle, stehen zehntausende solcher Dateien bereit.

In Nachrichten taucht der Begriff meist dann auf, wenn ein Unternehmen ein Modell frei veröffentlicht. Oft heißt es dann, es seien innerhalb von Stunden GGUF-Versionen erschienen. Das bedeutet: Freiwillige haben das Modell umgewandelt und quantisiert, sodass es jeder zu Hause ausprobieren kann.

Ein verbreiteter Irrtum ist, GGUF sei selbst eine künstliche Intelligenz oder ein Programm. Es ist nur die Verpackung. Ohne ein Programm, das die Datei öffnet und die Rechnungen ausführt, passiert damit gar nichts. Und ein zweiter Hinweis: Eine GGUF-Datei kann Text erzeugen, aber sie lernt nichts dazu. Das Training ist abgeschlossen, bevor die Datei überhaupt entsteht.