On-Device-Verarbeitung
On-Device-Verarbeitung bedeutet, dass ein Gerät wie ein Handy eine Aufgabe selbst berechnet, statt die Daten an einen fremden Computer im Internet zu schicken. Das schützt private Daten, funktioniert ohne Internet und spart dem Anbieter Betriebskosten.
Wenn dein Handy einen gesprochenen Satz in Text umwandelt, muss diese Rechenarbeit irgendwo passieren. Zwei Orte kommen infrage. Entweder schickt das Handy die Aufnahme über das Internet an ein großes Rechenzentrum, also eine Halle voller leistungsstarker Computer. Oder das Handy erledigt die Aufgabe mit dem eigenen Chip. Der zweite Fall heißt On-Device-Verarbeitung, wörtlich: Verarbeitung auf dem Gerät. Die Daten verlassen das Gerät dabei nie.
Was auf dem Gerät bleibt, kann niemand mitlesen
Das stärkste Argument ist der Datenschutz. Fotos, Sprachaufnahmen und Nachrichten sind sehr persönlich. Solange sie das Gerät nicht verlassen, kann sie kein Serverbetreiber speichern oder auswerten. Genau deshalb werben Hersteller wie Apple und Google inzwischen offensiv damit, welche Funktionen lokal laufen.
Der zweite Vorteil ist die Geschwindigkeit. Eine Anfrage ans Rechenzentrum und zurück braucht immer eine kurze Verzögerung, meist einige Zehntelsekunden. Bei einer Übersetzung merkt man das kaum. Bei einer Kamera, die Gesichter in Echtzeit scharfstellt, ist es untragbar. Lokale Verarbeitung antwortet ohne diesen Umweg.
Dazu kommen zwei praktische Punkte. Lokale Funktionen arbeiten auch im Flugzeug oder im Funkloch weiter. Und für den Anbieter ist jede Anfrage, die das Handy selbst rechnet, kostenlos. Bei Millionen Nutzern summiert sich das zu enormen Beträgen an eingesparter Serverleistung.
Kleine Modelle und spezialisierte Chips
Ein Handy hat viel weniger Rechenleistung und Speicher als ein Rechenzentrum. Große KI-Modelle passen dort nicht hinein. Deshalb kommen geschrumpfte Varianten zum Einsatz. Beim sogenannten Quantisieren speichert man die internen Zahlen des Modells gröber, etwa mit 4 statt 16 Nachkommastellen. Das Modell wird dadurch mehrfach kleiner und nur wenig ungenauer.
Ein zweiter Trick heißt Distillation, auf Deutsch etwa Destillation. Dabei trainiert ein sehr großes Modell ein kleines, indem das kleine dessen Antworten nachahmt. Der Schüler wird nicht so gut wie der Lehrer, aber überraschend nah dran. Er passt dafür in wenige Gigabyte.
Moderne Handychips enthalten außerdem einen eigenen Bereich nur für KI-Rechnungen, oft NPU genannt. Er ist auf die immer gleichen Rechenoperationen von KI-Modellen zugeschnitten und arbeitet dabei viel stromsparender als der Hauptprozessor. Ohne solche Spezialchips wäre der Akku nach kurzer Zeit leer.
Vom Fotofilter bis zum hybriden Assistenten
Vieles davon nutzt du längst, ohne es zu bemerken. Die Gesichtserkennung zum Entsperren läuft lokal. Ebenso die Wortvorschläge der Tastatur, die Rauschunterdrückung bei Videoanrufen und die Personensuche in der Fotogalerie. Auch das Weckwort eines Sprachassistenten wird immer auf dem Gerät erkannt, sonst müsste das Mikrofon dauerhaft senden.
In Produktankündigungen findest du dafür meist Formulierungen wie « läuft vollständig auf dem Gerät » oder « verlässt Ihr iPhone nicht ». In Fachtexten taucht daneben der Begriff Edge-KI auf. Er meint dasselbe Prinzip, aber breiter gefasst: auch Autos, Überwachungskameras und Industriemaschinen rechnen zunehmend selbst.
Ein verbreiteter Irrtum ist, dass es nur ein Entweder-oder gäbe. In der Praxis dominieren hybride Systeme. Einfache Anfragen erledigt das Gerät sofort, komplexe reicht es an ein großes Modell in der Cloud weiter. Diese Aufteilung ist derzeit einer der wichtigsten Wettbewerbspunkte zwischen Apple, Google, Samsung und Qualcomm.