Lokal lauffähiges Modell

Wenn du eine Frage in ChatGPT eintippst, passiert die eigentliche Rechenarbeit nicht auf deinem Gerät. Dein Text wird über das Internet an große Computer der Anbieterfirma geschickt, dort verarbeitet und die Antwort kommt zurück. Ein lokal lauffähiges Modell macht genau das Gegenteil: Das Programm liegt als Datei auf deinem Laptop oder Handy und rechnet dort. Es braucht dafür keine Internetverbindung und schickt deine Eingaben an niemanden. Der Preis dafür ist Leistung, denn dein Gerät ist viel schwächer als eine Halle voller Spezialchips. Deshalb sind lokale Modelle meist kleinere, abgespeckte Varianten der bekannten Systeme.

Datenschutz und Unabhängigkeit vom Anbieter

Das stärkste Argument für lokale Modelle sind vertrauliche Daten. Eine Anwaltskanzlei darf Mandantenakten nicht einfach auf fremde Server hochladen. Ein Arzt darf das mit Patientendaten nicht, eine Firma nicht mit unveröffentlichten Bauplänen. Läuft das Modell im eigenen Haus, entfällt dieses Problem größtenteils, weil die Daten das Gerät oder das Firmennetz nie verlassen.

Der zweite Grund ist Unabhängigkeit. Wer seine Software auf einen Cloud-Dienst stützt, also auf gemietete Rechenleistung im Internet, hängt von dessen Preisen und Regeln ab. Der Anbieter kann Preise erhöhen, ein Modell abschalten oder ein neues Modell mit anderem Verhalten ausliefern. Ein lokal gespeichertes Modell verändert sich nicht von allein. Es funktioniert auch noch in fünf Jahren genau gleich.

Dazu kommen praktische Vorteile. Es entstehen keine Kosten pro Anfrage, sondern nur einmalig für die Hardware. Und es funktioniert dort, wo kein Netz ist: im Flugzeug, im Bergwerk, in einem Auto ohne Empfang. Deshalb bauen Autohersteller und Handyproduzenten kleine Modelle direkt in ihre Geräte ein.

Wie ein Modell auf einen Laptop passt

Ein Sprachmodell besteht aus Milliarden gespeicherter Zahlen, den sogenannten Parametern. Sie sind das, was das Modell beim Lernen aus Texten behalten hat. Beim Antworten müssen alle diese Zahlen in den schnellen Arbeitsspeicher passen, sonst wird es extrem langsam. Das entscheidet darüber, was auf einem normalen Gerät überhaupt läuft.

Zwei Tricks machen das möglich. Erstens nimmt man von Anfang an kleinere Modelle: nicht mehrere hundert Milliarden Parameter, sondern drei, sieben oder zwanzig Milliarden. Zweitens speichert man jede einzelne Zahl gröber, oft mit vier statt sechzehn Stellen im Binärsystem. Dieses Verfahren heißt Quantisierung und schrumpft die Datei ungefähr auf ein Viertel. Das Modell wird dabei etwas ungenauer, bleibt aber für die meisten Aufgaben brauchbar.

Ein grobes Gefühl für die Größenordnung: Ein Modell mit sieben Milliarden Parametern belegt quantisiert etwa vier Gigabyte und läuft auf einem modernen Laptop flüssig. Dass man es überhaupt herunterladen darf, liegt an offenen Gewichten. So nennt man Modelle, deren Parameterdateien die Entwickler öffentlich freigeben, etwa Llama von Meta, Mistral aus Frankreich oder Qwen von Alibaba. Bei ChatGPT oder Claude ist das nicht der Fall, diese Dateien bekommt niemand.

Vom Handy-Assistenten bis zum Server im Keller

Am häufigsten begegnet dir lokale KI, ohne dass es dransteht. Die automatische Übersetzung im Flugmodus, die Diktierfunktion und die Textvorschläge deiner Handytastatur laufen oft direkt auf dem Gerät. Apple nennt seine Variante Apple Intelligence und schickt nur schwierige Anfragen weiter nach außen. Solche gemischten Lösungen nennt man hybride Systeme.

Wer selbst ausprobieren will, nutzt Programme wie Ollama oder LM Studio. Man lädt eine Modelldatei herunter und chattet in einem Fenster, das aussieht wie ein normaler Chatdienst. Nur ist eben kein Server im Spiel. In Firmen läuft dasselbe Prinzip auf einem eigenen Server, der Verträge zusammenfasst oder Programmcode ergänzt.

In Nachrichten tauchen lokale Modelle vor allem als Wirtschaftsthema auf. Jede Anfrage, die auf dem Gerät bleibt, ist eine Anfrage, für die kein Cloud-Anbieter Geld bekommt. Ein verbreiteter Irrtum ist übrigens, lokal bedeute automatisch schlechter. Für Zusammenfassungen, Übersetzungen oder einfache Programmierhilfe reichen kleine Modelle oft völlig. Bei langen Rechenketten und schwierigen Fachfragen sind die großen Systeme aus dem Rechenzentrum aber weiterhin klar überlegen.