ExecuTorch

Die meisten KI-Programme, die man heute nutzt, rechnen gar nicht auf dem eigenen Gerät. Die Eingabe wird über das Internet an große Computer eines Anbieters geschickt, dort berechnet und die Antwort kommt zurück. ExecuTorch verfolgt den umgekehrten Weg: Die Rechnung soll auf dem Gerät selbst stattfinden, also auf dem Handy, der Smartwatch oder der Datenbrille. Dafür nimmt ExecuTorch ein fertig gelerntes KI-Programm und packt es in eine besonders sparsame Form um. Entwickelt wurde das Werkzeug von Meta, dem Unternehmen hinter Facebook und Instagram, und es ist frei verfügbar. Es gehört zur Familie rund um PyTorch, eine weit verbreitete Software, mit der Forscher KI-Programme bauen und trainieren.

Warum KI aufs Telefon wandert

Ein Rechenzentrum zu betreiben kostet Geld, und zwar bei jeder einzelnen Anfrage. Wenn stattdessen das Handy des Nutzers rechnet, entstehen dem Anbieter dafür keine Kosten. Bei Millionen Nutzern summiert sich dieser Unterschied schnell zu erheblichen Beträgen. Für Unternehmen ist das ein starkes wirtschaftliches Argument.

Dazu kommt der Datenschutz. Was das Gerät selbst berechnet, muss es nicht verschicken. Eine Sprachnachricht, die auf dem Handy in Text umgewandelt wird, verlässt das Handy nie. Das ist besonders bei Gesundheitsdaten, Fotos oder privaten Nachrichten relevant. Auch strenge europäische Datenschutzregeln lassen sich so leichter einhalten.

Der dritte Grund ist Geschwindigkeit. Ein Weg zum Server und zurück dauert je nach Verbindung leicht eine halbe Sekunde. Für eine Übersetzungsbrille oder eine Kamera, die Objekte in Echtzeit erkennt, ist das zu lang. Und ohne Netz funktioniert eine Cloud-Anwendung überhaupt nicht, eine lokale dagegen schon.

Vom Forschungsmodell zur Handy-Datei

Ein KI-Modell besteht im Kern aus sehr vielen Zahlen und einer Rechenvorschrift, was damit zu tun ist. Während der Entwicklung liegt beides in einer flexiblen Form vor, damit Forscher jederzeit etwas ändern können. Diese Flexibilität kostet aber Speicher und Rechenzeit. ExecuTorch friert das Modell deshalb zuerst ein: Es zeichnet auf, welche Rechenschritte in welcher Reihenfolge nötig sind. Das Ergebnis ist ein starrer Ablaufplan, ein sogenannter Graph.

Dieser Plan wird anschließend abgespeckt. Überflüssige Schritte fallen weg, benachbarte Schritte werden zusammengefasst. Häufig werden die Zahlen im Modell auch gröber gespeichert, etwa mit acht statt zweiunddreißig Stellen im Speicher. Dieses Verfahren heißt Quantisierung. Es macht das Modell oft viermal kleiner, bei nur leicht schlechteren Ergebnissen.

Am Ende steht eine einzelne Datei mit der Endung .pte. Auf dem Gerät liest ein winziges Abspielprogramm diese Datei und arbeitet den Plan ab. Dieses Abspielprogramm ist bewusst nur wenige hundert Kilobyte groß, damit es auch auf schwache Chips passt. Über sogenannte Backends kann es spezielle Recheneinheiten ansprechen, etwa den Grafikchip oder die KI-Einheit eines Smartphones. Der Vergleich mit Musik hilft: PyTorch ist das Tonstudio, die .pte-Datei die fertige Aufnahme, das Abspielprogramm der schlichte Player.

Datenbrillen, Apps und Konkurrenzprodukte

Meta setzt ExecuTorch in eigenen Produkten ein, unter anderem in den Ray-Ban-Datenbrillen und in Anwendungen auf Instagram und WhatsApp. Auch andere Firmen nutzen es, etwa um kleine Sprachmodelle direkt in einer App laufen zu lassen. Chiphersteller wie Qualcomm, Arm und Apple liefern passende Anbindungen, damit ihre Prozessoren gut unterstützt werden.

In Nachrichten taucht der Name meist im Zusammenhang mit dem Schlagwort On-Device-KI auf, also KI direkt auf dem Gerät. Konkurrenzprodukte sind TensorFlow Lite von Google, inzwischen LiteRT genannt, sowie Core ML von Apple. Ein verbreiteter Irrtum ist, dass man mit ExecuTorch auch trainieren könne. Das Werkzeug ist fast ausschließlich für die Nutzung fertiger Modelle gedacht, nicht für deren Lernphase. Und ein Handy bleibt begrenzt: Die größten Sprachmodelle mit hunderten Milliarden gespeicherten Werten passen dort schlicht nicht hinein.