Expert Offloading
Expert Offloading ist eine Technik, bei der Teile eines großen KI-Modells während des Betriebs vom Arbeitsspeicher der Grafikkarte in den Hauptspeicher oder auf die Festplatte ausgelagert werden – und nur dann zurückgeholt werden, wenn sie tatsächlich gebraucht werden. So lassen sich Modelle betreiben, die eigentlich zu groß für die vorhandene Hardware wären.
Viele moderne KI-Modelle sind in Schichten und spezialisierte Teilnetze unterteilt, die man Experten nennt. Bei einem einzelnen Rechenvorgang werden davon nur wenige gleichzeitig benötigt. Expert Offloading nutzt genau das aus: Die Experten, die gerade nicht gebraucht werden, werden aus dem schnellen Speicher der Grafikkarte entfernt und woanders zwischengelagert – zum Beispiel im normalen Arbeitsspeicher des Computers oder sogar auf der Festplatte. Wenn sie gebraucht werden, lädt das System sie in Millisekunden zurück. Das Modell wirkt von außen vollständig, obwohl nie alles gleichzeitig im teuren Grafikspeicher liegt.
Warum Expert Offloading den Unterschied macht
Grafikkarten haben einen eigenen, sehr schnellen Speicher – den sogenannten VRAM. Der ist teuer und begrenzt. Eine Grafikkarte der oberen Mittelklasse hat typischerweise 12 bis 24 Gigabyte VRAM. Ein leistungsstarkes KI-Modell wie Mixtral 8x7B benötigt aber über 80 Gigabyte, um vollständig im VRAM zu liegen. Ohne Expert Offloading ist dieses Modell auf normaler Heimhardware schlicht nicht ausführbar.
Mit Expert Offloading verschiebt sich die Grenze deutlich. Wer genug normalen Arbeitsspeicher hat – der ist zwar langsamer, aber viel günstiger und oft in großen Mengen verfügbar – kann dasselbe Modell trotzdem betreiben. Die Antworten dauern etwas länger, weil das Laden der Experten Zeit kostet. Für viele Anwendungen ist das ein akzeptabler Tausch.
Wie das Auslagern konkret abläuft
Der Ablauf folgt einem festen Muster. Zuerst entscheidet ein kleines Steuerungsnetz – der sogenannte Router –, welche Experten für die aktuelle Eingabe zuständig sind. Dann prüft das System, ob diese Experten schon im VRAM liegen. Falls nicht, werden sie aus dem Arbeitsspeicher oder der Festplatte nachgeladen. Experten, die gerade nicht benötigt werden und Platz wegnehmen, werden dabei gleichzeitig ausgelagert.
Entscheidend ist, wie gut das System vorhersehen kann, welche Experten als Nächstes gebraucht werden. Moderne Implementierungen versuchen, die Ladereihenfolge zu optimieren und Experten vorausschauend zu laden, bevor sie tatsächlich an der Reihe sind. Je besser diese Vorhersage funktioniert, desto weniger Wartezeit entsteht. Ein häufiger Irrtum ist die Annahme, Expert Offloading sei einfach dasselbe wie das Laden eines gesamten Modells in Teilen – tatsächlich geht es um ein dynamisches, anfragebezogenes Hin-und-Her, das pro Rechenvorgang neu entschieden wird.
Einen Flaschenhals gibt es trotzdem: die Übertragungsrate zwischen Speicherorten. VRAM ist um ein Vielfaches schneller als normaler Arbeitsspeicher, der wiederum deutlich schneller ist als eine Festplatte. Je weiter weg die ausgelagerten Experten gespeichert sind, desto spürbarer wird die Verlangsamung.
Expert Offloading in der Praxis
Expert Offloading taucht vor allem in Projekten auf, die große Sprachmodelle auf normalen Heimrechnern ausführbar machen wollen. Das Open-Source-Projekt llama.cpp unterstützt die Technik ebenso wie spezialisierte Laufzeitumgebungen wie Ollama oder llm.gguf. Wer also Berichte liest, dass jemand ein riesiges Modell „auf einer günstigen Gaming-GPU“ betrieben hat, steckt dahinter meistens Expert Offloading – kombiniert mit weiteren Komprimierungsverfahren.
In der Unternehmenswelt ist das Prinzip ebenfalls relevant. Wer keine teure Server-Infrastruktur mit vielen Grafikkarten betreiben möchte, kann mit Expert Offloading leistungsstarke Modelle auf bescheidenerer Hardware ausführen und dabei Kosten sparen. Die Antwortzeiten sind dann zwar langsamer als beim vollständigen Betrieb im VRAM, für Aufgaben ohne strikte Echtzeitanforderungen – etwa das Zusammenfassen von Dokumenten oder die interne Suche – ist das oft völlig ausreichend.
Abzugrenzen ist Expert Offloading vom verwandten Begriff Quantisierung, bei dem Modellgewichte mit weniger Präzision gespeichert werden, um Speicherplatz zu sparen. Beide Techniken lassen sich kombinieren und ergänzen sich gut: Quantisierung schrumpft das Modell, Expert Offloading verteilt es geschickt auf verfügbare Speicherschichten.