Edge AI

Wenn ein Programm Sprache erkennt oder Gesichter auf Fotos findet, muss dafür gerechnet werden. Diese Rechenarbeit kann an zwei Orten passieren. Entweder auf großen Computern in einem Rechenzentrum, also in fremden Hallen voller Server, mit denen sich das Gerät über das Internet verbindet. Oder direkt in dem Gerät, das man in der Hand hält. Der zweite Fall heißt Edge AI. « Edge » ist englisch für Rand: gemeint ist der Rand des Netzwerks, dort, wo die Geräte und die Nutzer sitzen. Ein Handy, das Sprache ohne Internetverbindung in Text umwandelt, ist ein typisches Beispiel.

Warum das wichtig ist

Drei Gründe sprechen für Rechnen auf dem Gerät. Der erste ist Geschwindigkeit. Der Weg zum Rechenzentrum und zurück kostet immer etwas Zeit, oft Zehntel- bis ganze Sekunden. Für ein Auto, das eine Fußgängerin erkennt, ist das zu lang.

Der zweite Grund ist Datenschutz. Was das Gerät selbst auswertet, verlässt das Gerät nie. Ein Türklingel-Video, das lokal analysiert wird, landet nicht bei einem Anbieter im Ausland. Das ist auch rechtlich einfacher, weil europäische Regeln die Weitergabe personenbezogener Daten stark einschränken.

Der dritte Grund ist Geld. Jede Anfrage an ein Rechenzentrum kostet den Anbieter Strom und Rechenzeit. Läuft die Berechnung auf dem Kundengerät, zahlt der Kunde den Strom. Deshalb interessiert sich die Industrie stark für diesen Ansatz.

Wie es funktioniert

Das Kernproblem ist Platz. Große KI-Modelle, wie sie hinter bekannten Chatbots stecken, brauchen Speicher und Strom in einer Größenordnung, die kein Handy hat. Also werden kleinere Modelle gebaut oder große verkleinert.

Ein wichtiges Verfahren dafür heißt Quantisierung. Ein Modell besteht aus Milliarden von Zahlen. Speichert man diese Zahlen gröber, also mit weniger Nachkommastellen, schrumpft das Modell deutlich. Es wird dabei ein wenig ungenauer, aber oft kaum merkbar. Man kann es sich wie ein Foto vorstellen, das man von hoher Qualität auf eine kleinere Dateigröße bringt: Für die Anzeige auf dem Handy reicht es weiterhin.

Dazu kommt spezielle Hardware. Moderne Handy- und Laptop-Chips enthalten eigene Bauteile nur für KI-Berechnungen, oft NPU genannt, also neuronale Recheneinheit. Sie rechnen genau die immer gleichen Multiplikationen, die ein KI-Modell braucht, und verbrauchen dabei wenig Akku.

In der Praxis werden beide Orte oft kombiniert. Einfache Aufgaben erledigt das Gerät, schwierige schickt es weiter ins Rechenzentrum. Der Nutzer merkt von dieser Aufteilung meist nichts.

Wo man dem Begriff begegnet

Im Alltag steckt Edge AI in vielen Geräten. Die Gesichtserkennung zum Entsperren des Handys läuft lokal. Ebenso die automatische Bildverbesserung der Kamera, die Sortierung der Fotogalerie nach Personen und viele Übersetzungsfunktionen ohne Netz. Auch Fahrassistenzsysteme in Autos und Sprachbefehle in Fernsehern gehören dazu.

In Wirtschaftsnachrichten fällt der Begriff vor allem bei Chipherstellern. Firmen wie Qualcomm, Apple, Arm oder Nvidia werben damit, dass ihre Prozessoren KI direkt auf dem Gerät ausführen. Auch Industrieunternehmen nutzen den Begriff, etwa wenn Kameras in einer Fabrik fehlerhafte Teile selbst erkennen. Wer Marktberichte liest, findet Edge AI oft als Gegenpol zur Cloud, also zum Rechnen in fremden Rechenzentren. Beide Ansätze wachsen parallel, sie ersetzen sich nicht.