On-Device-Inferenz

Wenn ein Computerprogramm eine Frage beantwortet oder ein Foto erkennt, muss irgendwo gerechnet werden. Meistens passiert das nicht auf deinem Handy, sondern auf leistungsstarken Computern in großen Hallen, die man Rechenzentren nennt. Dein Gerät schickt die Anfrage über das Internet dorthin und bekommt das Ergebnis zurück. Bei On-Device-Inferenz läuft diese Rechnung stattdessen komplett auf dem Gerät selbst, also auf dem Handy, dem Laptop oder im Auto. Der Wortteil Inferenz bezeichnet dabei die Benutzung eines fertigen Modells: Es lernt nichts mehr dazu, es wendet nur an, was es vorher gelernt hat. Nichts verlässt das Gerät, und ohne Internetverbindung funktioniert es trotzdem.

Was für das Gerät spricht

Der wichtigste Vorteil ist der Datenschutz. Deine Sprachaufnahmen, Fotos oder Nachrichten müssen niemanden verlassen, wenn die Auswertung lokal passiert. Bei einer Tastatur, die dein nächstes Wort vorschlägt, ist das ein spürbarer Unterschied. Sonst würde jedes getippte Wort an einen fremden Server wandern.

Der zweite Vorteil ist Geschwindigkeit. Eine Anfrage an ein Rechenzentrum und zurück braucht oft hundert Millisekunden oder mehr, allein durch die Netzstrecke. Für ein Fahrassistenzsystem, das einen Fußgänger erkennen soll, ist das zu langsam. Lokal fällt diese Wartezeit weg, und die Funktion arbeitet auch im Funkloch oder im Flugzeug weiter.

Für die Hersteller zählt außerdem das Geld. Jede Anfrage an ein Rechenzentrum kostet Strom und Serverzeit, und zwar bei jeder einzelnen Nutzung. Läuft das Modell auf dem Gerät des Kunden, zahlt dieser den Strom aus dem eigenen Akku. Bei hunderten Millionen Geräten ist das ein gewaltiger Unterschied in den Betriebskosten.

Wie ein großes Modell auf ein Handy passt

Das Grundproblem ist Platz. Ein starkes Sprachmodell besteht aus vielen Milliarden gespeicherter Zahlen, den sogenannten Parametern. In voller Genauigkeit bräuchte das mehrere hundert Gigabyte Arbeitsspeicher, ein Handy hat davon vielleicht acht. Also muss das Modell kleiner werden, bevor es überhaupt startet.

Das wichtigste Werkzeug dafür heißt Quantisierung. Dabei speichert man jede Zahl gröber, etwa mit vier statt sechzehn Stellen im Speicher. Das Modell wird dadurch um ein Vielfaches kleiner und verliert erstaunlich wenig Qualität. Ein zweiter Weg ist Destillation: Ein großes Modell trainiert ein kleines darauf, seine Antworten nachzuahmen. Das kleine Modell hat dann vielleicht drei Milliarden Parameter statt vierhundert Milliarden, reicht aber für viele Alltagsaufgaben.

Dazu kommt spezielle Hardware. Moderne Handychips enthalten eine eigene Recheneinheit nur für KI-Aufgaben, oft NPU genannt. Sie ist auf genau die Art von Multiplikationen zugeschnitten, die ein Modell braucht, und verbraucht dabei wenig Strom. Ein verbreiteter Irrtum ist, dass lokale Modelle deshalb gleichwertig zu den großen aus dem Netz wären. Sie sind schwächer bei komplexen Aufgaben, dafür sofort verfügbar.

Vom Kamerafilter bis zur Übersetzung im Flugzeug

Du nutzt On-Device-Inferenz vermutlich täglich, ohne es zu merken. Die Gesichtserkennung beim Entsperren, die Rauschunterdrückung bei Videoanrufen und die automatische Sortierung deiner Fotos nach Personen laufen lokal. Auch Live-Untertitel und Offline-Übersetzung gehören dazu. Bei Sprachassistenten ist es oft geteilt: Das Erkennen des Weckworts passiert auf dem Gerät, die eigentliche Antwort holt sich das Handy dann aus dem Netz.

In Wirtschaftsnachrichten taucht der Begriff auf, wenn es um Chiphersteller und Handybauer geht. Apple, Google, Qualcomm und Samsung werben damit, dass ihre neuen Chips größere Modelle lokal ausführen können. Analysten interessiert dabei, ob dadurch der Bedarf an Rechenzentren sinkt oder ob beides nebeneinander wächst.

In der Praxis setzt sich meist eine Mischform durch, oft Hybrid-Ansatz genannt. Einfache Anfragen beantwortet das Gerät selbst, schwierige reicht es an den Server weiter. Der Nutzer merkt davon idealerweise nichts, außer dass manche Funktionen auch offline noch da sind.