On-Device-KI
On-Device-KI bezeichnet Programme mit künstlicher Intelligenz, die direkt auf dem Handy, Laptop oder Auto rechnen — und nicht auf fremden Rechnern im Internet. Das macht sie schneller, unabhängiger von der Verbindung und schont die Privatsphäre, begrenzt aber die Größe der Modelle.
Wenn dein Handy ein Foto verbessert oder deine Sprache in Text umwandelt, muss dafür irgendwo gerechnet werden. Oft passiert das nicht im Gerät, sondern in einem großen Rechenzentrum: einer Halle voller Computer, die über das Internet erreichbar ist. Bei On-Device-KI läuft die Rechnung stattdessen im Gerät selbst, das du in der Hand hältst. Deine Daten verlassen das Handy dabei nicht. Der Nachteil: ein Handy hat viel weniger Rechenleistung als so eine Halle. Die Programme müssen also deutlich sparsamer gebaut sein.
Warum Hersteller die Rechnung ins Gerät verlegen
Der erste Grund ist Datenschutz. Wer seine Sprachnachrichten oder Fotos an einen fremden Server schickt, muss dem Betreiber vertrauen. Bleibt alles im Gerät, entsteht dieses Vertrauensproblem gar nicht. Apple, Google und Samsung bewerben ihre KI-Funktionen deshalb ausdrücklich mit diesem Argument.
Der zweite Grund ist Geld. Jede Anfrage an ein Rechenzentrum kostet den Anbieter Strom und Rechenzeit. Bei einer Milliarde Nutzern summiert sich das zu enormen Beträgen. Rechnet das Gerät selbst, zahlt der Nutzer den Strom aus seinem Akku. Für die Hersteller ist das ein Geschäftsmodell, das mit der Nutzerzahl nicht teurer wird.
Der dritte Grund ist Verlässlichkeit. Im Funkloch, im Flugzeug oder im Tunnel funktioniert eine Cloud-Funktion einfach nicht. Eine Übersetzung, die im Gerät läuft, funktioniert überall. Außerdem antwortet sie schneller, weil der Weg zum Server und zurück entfällt.
Wie ein großes Modell in ein Handy passt
Die größten Sprachmodelle haben hunderte Milliarden sogenannter Parameter. Das sind die einstellbaren Zahlen, in denen ein Modell sein Wissen speichert. So etwas passt nicht in ein Handy. Modelle für Geräte haben deshalb typischerweise ein bis acht Milliarden Parameter. Sie sind schwächer, aber für viele Aufgaben völlig ausreichend.
Zusätzlich werden die Zahlen gröber gespeichert. Statt mit 16 Bit pro Parameter rechnet man mit 8 oder 4 Bit. Dieses Verfahren heißt Quantisierung. Man kann es sich wie ein Bild mit weniger Farben vorstellen: es sieht noch gut aus, braucht aber viel weniger Platz. Ein Modell schrumpft so von 16 auf 4 Gigabyte.
Moderne Handy-Chips enthalten außerdem einen eigenen Baustein nur für solche Rechnungen, oft NPU genannt. Er ist auf die simplen Multiplikationen spezialisiert, aus denen KI-Modelle bestehen, und verbraucht dabei wenig Strom. Viele Systeme arbeiten hybrid: einfache Anfragen erledigt das Gerät, komplizierte gehen an die Cloud. Der Nutzer merkt von dieser Aufteilung meist nichts.
On-Device-KI im Handy, im Auto und in den Quartalszahlen
Die bekanntesten Beispiele stecken in Smartphones. Die Live-Übersetzung eines Telefonats, das Entfernen von Personen aus Fotos, die Diktierfunktion und die Textvorschläge der Tastatur laufen bei aktuellen Geräten größtenteils lokal. Auch Gesichtserkennung zum Entsperren gehört dazu, und zwar schon seit Jahren.
Außerhalb des Handys begegnet dir das Prinzip im Auto, wo Assistenzsysteme Verkehrszeichen erkennen müssen — eine Sekunde Wartezeit auf einen Server wäre hier gefährlich. Auch Staubsaugerroboter, Kameras und Hörgeräte nutzen kleine Modelle im Gerät. In diesem Zusammenhang liest man oft den verwandten Begriff Edge-Computing, der allgemein das Rechnen am Rand des Netzes meint, nahe beim Nutzer.
In Wirtschaftsnachrichten ist On-Device-KI ein wichtiges Argument für Chiphersteller wie Qualcomm, Arm oder Apple. Sie hoffen, dass Kunden neue Geräte kaufen, nur um die KI-Funktionen nutzen zu können. Ein häufiger Irrtum ist übrigens, On-Device-KI würde im Gerät weiterlernen. Das Modell wird meist fertig trainiert ausgeliefert und rechnet nur noch.