Edge Deployment
Edge Deployment bedeutet, dass ein KI-Programm direkt auf dem Gerät des Nutzers läuft – auf dem Handy, im Auto oder in der Kamera – statt in einem entfernten Rechenzentrum. Das macht Antworten schneller und hält persönliche Daten auf dem Gerät.
Wenn du eine Sprachnachricht in Text umwandeln lässt, muss irgendein Computer diese Rechenarbeit erledigen. Meist passiert das in einem Rechenzentrum, also einer großen Halle voller Computer, die einem Unternehmen gehört. Deine Aufnahme wird dorthin geschickt, dort ausgewertet, und das Ergebnis kommt zurück. Beim Edge Deployment läuft die Rechenarbeit stattdessen auf dem Gerät, das du in der Hand hältst. „Edge“ heißt übersetzt „Rand“ und meint den Rand des Netzes, also die Stelle, an der die Daten entstehen. Nichts verlässt das Gerät, es gibt keine Wartezeit durch das Netz.
Warum Firmen die Rechenarbeit aufs Gerät verlagern
Der wichtigste Grund ist Geschwindigkeit. Eine Anfrage an ein Rechenzentrum und zurück braucht selbst bei guter Verbindung oft 100 bis 300 Millisekunden. Für einen Chatbot ist das egal. Für ein Auto, das eine Fußgängerin erkennen muss, ist es zu langsam. Auf dem Gerät selbst fällt diese Verzögerung, die Fachleute Latenz nennen, komplett weg.
Der zweite Grund ist Datenschutz. Wer Fotos, Gesundheitsdaten oder Gespräche an einen fremden Server schickt, muss diesem Server vertrauen. Bleiben die Daten auf dem Handy, entfällt dieses Problem weitgehend. Apple und Google werben genau damit, wenn sie Funktionen wie Sprachtippen oder Fotosortierung lokal rechnen lassen. In Europa ist das auch rechtlich attraktiv, weil weniger Daten übertragen werden.
Der dritte Grund ist Geld. Jede Anfrage an ein Rechenzentrum kostet den Anbieter Strom und Rechenzeit. Bei Millionen Nutzern summiert sich das zu erheblichen Beträgen. Läuft das Modell auf dem Gerät des Kunden, zahlt der Kunde den Strom. Dazu kommt: Ohne Internet funktioniert eine Cloud-Anwendung gar nicht, eine lokale schon.
Wie große Modelle auf kleine Chips passen
Ein Smartphone hat vielleicht 8 Gigabyte Arbeitsspeicher, ein Server-Chip im Rechenzentrum das Zehnfache und viel mehr Rechenleistung. Ein KI-Modell, das dort problemlos läuft, passt also nicht einfach aufs Handy. Deshalb wird es vorher verkleinert. Das Ergebnis ist eine abgespeckte Version, die etwas weniger kann, dafür aber überhaupt startet.
Das häufigste Verfahren heißt Quantisierung. Ein Modell besteht aus Milliarden gespeicherter Zahlen. Normalerweise wird jede davon sehr genau abgelegt, etwa mit 16 Stellen Genauigkeit. Speichert man sie gröber, etwa mit 4, schrumpft die Datei auf ein Viertel und die Berechnung wird schneller. Man kann sich das wie das Runden von Preisen auf ganze Euro vorstellen: Die Rechnung stimmt fast noch, wird aber viel einfacher.
Ein zweites Verfahren ist Destillation. Dabei bringt ein großes Modell einem kleinen bei, seine Antworten nachzuahmen, ähnlich wie ein erfahrener Lehrer einem Schüler. Das kleine Modell erreicht so eine überraschend gute Qualität bei einem Bruchteil der Größe. Hinzu kommt spezielle Hardware: Moderne Handychips enthalten eine sogenannte NPU, einen Baustein, der genau für solche Berechnungen gebaut ist.
Von der Handykamera bis zur Fabrikhalle
Im Alltag begegnet dir Edge Deployment ständig, ohne dass es so genannt wird. Die Gesichtserkennung beim Entsperren deines Handys läuft lokal. Auch die automatische Übersetzung im Flugmodus, die Rauschunterdrückung bei Kopfhörern und die Objekterkennung in Fotos funktionieren ohne Internet. Sprachassistenten sind ein Mischfall: Das Aufwachwort erkennt das Gerät selbst, die eigentliche Frage geht oft in die Cloud.
In der Industrie ist der Begriff noch verbreiteter. Eine Kamera an einem Fließband prüft Bauteile in Echtzeit und darf dabei nicht auf eine Internetverbindung angewiesen sein. Landmaschinen erkennen Unkraut direkt auf dem Feld, wo oft kein Netz verfügbar ist. In Firmenmeldungen und Börsennachrichten tauchen deshalb Begriffe wie „Edge AI“ oder „On-Device AI“ häufig auf, wenn es um Chiphersteller geht.
Ein verbreiteter Irrtum ist, Edge Deployment sei immer die bessere Lösung. Die größten und stärksten Modelle brauchen weiterhin Rechenzentren, weil sie schlicht zu groß sind. In der Praxis kombinieren viele Produkte beides: Einfache Aufgaben erledigt das Gerät sofort, schwierige gehen an den Server. Diese Aufteilung nennt man hybride Architektur.