lokale Inferenz
Bei lokaler Inferenz führt ein Gerät – etwa ein Laptop oder ein Smartphone – die Berechnungen eines KI-Modells selbst durch, ohne dabei einen externen Server zu kontaktieren. Das ermöglicht KI-Nutzung ohne Internetverbindung und hält Daten auf dem eigenen Gerät.
Wenn du ChatGPT im Browser nutzt, passiert die eigentliche Rechenarbeit auf einem Server in einem Rechenzentrum weit entfernt. Deine Anfrage reist durchs Internet, ein fremder Computer wertet sie aus, das Ergebnis kommt zurück. Bei lokaler Inferenz ist das anders: Das KI-Modell läuft direkt auf deinem eigenen Gerät – dem Laptop, Smartphone oder einem speziellen Chip. Es verlässt keine Daten das Gerät, und eine Internetverbindung ist nicht nötig. Das klingt nach einer technischen Kleinigkeit, hat aber weitreichende Folgen.
Datenschutz und Unabhängigkeit von Anbietern
Der offensichtlichste Vorteil ist Datenschutz. Wer einem Cloud-Dienst eine Anfrage schickt, gibt diese Information aus der Hand – zumindest vorübergehend. Für vertrauliche Texte, Arztnotizen oder Geschäftsdokumente ist das oft nicht akzeptabel. Bei lokaler Inferenz sieht kein externer Anbieter, was verarbeitet wird.
Dazu kommt Unabhängigkeit. Cloud-Dienste können ihren Preis erhöhen, ihre Nutzungsbedingungen ändern oder schlicht ausfallen. Ein Modell, das lokal läuft, funktioniert auch dann, wenn der Anbieter nicht mehr existiert oder der Internetzugang unterbrochen ist. Das ist besonders relevant für Unternehmen, die KI fest in ihre Abläufe einbauen wollen, ohne sich an einen einzigen Dienstleister zu binden.
Warum lokale Inferenz lange kaum möglich war – und jetzt schon
Leistungsfähige Sprachmodelle – also KI-Systeme, die Text verstehen und erzeugen – haben lange Mengen an Rechenleistung und Arbeitsspeicher gebraucht, die normale Geräte nicht liefern konnten. Ein großes Modell wie GPT-4 belegt im Rohzustand mehrere hundert Gigabyte. Das passt weder auf einen durchschnittlichen Laptop noch in den Speicher eines Smartphones.
Zwei Entwicklungen haben das geändert. Erstens entstehen immer mehr sogenannte kleine Sprachmodelle, die trotz deutlich geringerer Größe erstaunlich leistungsfähig sind – Metas Llama-Reihe oder Microsofts Phi-Modelle sind bekannte Beispiele. Zweitens gibt es Verfahren zur Komprimierung: Beim sogenannten Quantisieren werden die Zahlenwerte im Modell mit weniger Präzision gespeichert, ähnlich wie ein Foto in niedrigerer Auflösung weniger Speicherplatz braucht. Ein Modell, das unkomprimiert 40 Gigabyte groß wäre, lässt sich so auf unter 5 Gigabyte schrumpfen – mit überschaubaren Einbußen bei der Qualität.
Gleichzeitig haben Chip-Hersteller ihre Hardware angepasst. Apples M-Chips, Qualcomms Snapdragon-Prozessoren für Smartphones und Nvidias Consumer-Grafikkarten enthalten heute spezielle Recheneinheiten, die KI-Berechnungen besonders effizient abarbeiten.
Lokale Inferenz in Produkten und News
Apple hat mit „Apple Intelligence“ angekündigt, viele KI-Funktionen direkt auf dem iPhone und Mac laufen zu lassen – ausdrücklich als Datenschutzargument. Nur wenn die Aufgabe zu komplex für das Gerät ist, wird sie an externe Server weitergeleitet, und Apple betont, dass auch diese Server die Anfragen nicht speichern.
Außerhalb von Smartphones gibt es Programme wie LM Studio oder Ollama, mit denen technisch interessierte Nutzer frei verfügbare Modelle auf dem eigenen Rechner installieren und ausprobieren können – ohne Cloud-Anbindung, ohne Nutzungsbeschränkungen, ohne Kosten pro Anfrage. In Unternehmensumgebungen wird lokale Inferenz vor allem dort eingesetzt, wo sensible Daten verarbeitet werden: in Kanzleien, Kliniken oder bei Behörden.
Der Begriff taucht in Tech-News häufig im Zusammenhang mit dem sogenannten „AI-PC“ auf – einer Gerätekategorie, die Microsoft und Chip-Hersteller seit 2024 aktiv vermarkten. Gemeint sind Rechner mit speziell für KI optimierten Chips, die lokale Inferenz schnell und stromsparend ermöglichen sollen. Ob das ein echter Wendepunkt oder vor allem ein Marketing-Begriff ist, diskutiert die Branche noch.