Visual Intelligence

Visual Intelligence ist eine Funktion neuerer iPhones. Man richtet die Kamera auf etwas und bekommt Informationen dazu. Bei einem Restaurant zeigt das Handy Öffnungszeiten und Bewertungen, bei einem Hund die Rasse, bei einem Plakat die Möglichkeit, den Termin direkt in den Kalender zu übernehmen. Man muss also nicht mehr selbst tippen, was man sucht — das Bild ist die Suchanfrage. Seit 2025 funktioniert das auch mit dem, was auf dem Bildschirm zu sehen ist, nicht nur mit der Kamera. Apple hat die Funktion 2024 zusammen mit dem iPhone 16 vorgestellt.

Die Kamera als Suchfeld

Suchen funktioniert normalerweise über Sprache. Man muss beschreiben können, was man wissen will. Genau daran scheitert man aber oft: Wie heißt diese Pflanze? Wie nennt man dieses Bauteil? Wer den Namen nicht kennt, kann auch nicht danach suchen. Eine Kamera umgeht dieses Problem vollständig.

Für Apple ist die Funktion außerdem strategisch wichtig. Google verdient sein Geld mit Suchanfragen, und ein großer Teil davon läuft heute über Handys. Wenn Nutzer künftig eher fotografieren als tippen, verschiebt sich die Macht dorthin, wo die Kamera-Software sitzt. Deshalb gilt Visual Intelligence in Finanznachrichten oft als Angriff auf das Suchgeschäft — auch wenn Apple im Hintergrund selbst Google-Ergebnisse einbindet.

Ein weiterer Punkt ist die Bedienung. Ältere Bildsuchen musste man erst als App öffnen. Visual Intelligence hängt beim iPhone 16 an einer eigenen Taste an der Gehäuseseite. Eine Funktion, die man in einer Sekunde erreicht, wird viel häufiger benutzt als eine, für die man drei Menüs durchklickt.

Was im Hintergrund passiert

Der erste Schritt ist Bilderkennung. Ein Programm, das mit Millionen beschrifteter Fotos trainiert wurde, ordnet dem Bild Begriffe zu: Hund, Ladenfront, Text, Schriftzeichen. Solche Programme lernen nicht Regeln, sondern Muster. Sie haben so viele Bilder von Golden Retrievern gesehen, dass sie einen neuen zuverlässig einsortieren.

Danach entscheidet das System, wer die Frage beantwortet. Einfache Fälle löst das iPhone selbst, direkt auf dem Chip. Für eine Produktsuche schickt es das Bild an Google, für offene Fragen wie « Was ist das für ein Stil? » an ChatGPT, den Chatbot der Firma OpenAI. Diese Weiterleitung passiert laut Apple nur nach Zustimmung des Nutzers.

Wichtig ist die Abgrenzung zur reinen Objekterkennung, wie sie Kameras schon lange können. Erkennung sagt nur, was zu sehen ist. Visual Intelligence versucht zusätzlich, die passende Handlung anzubieten: anrufen, Kalendereintrag anlegen, Text übersetzen, Ähnliches kaufen. Ein häufiger Irrtum ist, das Handy « versteht » das Bild wie ein Mensch. Es erkennt Muster und verknüpft sie mit Datenbanken — mehr nicht.

Konkurrenz und Alltagsfälle

Apple ist mit der Idee nicht allein. Google Lens gibt es seit 2017 und beherrscht sehr ähnliche Aufgaben. Samsung bietet Circle to Search, wo man einen Bereich auf dem Bildschirm einkreist und dazu Ergebnisse erhält. Auch Metas Kamerabrillen beschreiben, was der Träger vor sich hat. Der Fachbegriff für dieses Feld lautet oft « multimodale KI »: Modelle, die nicht nur Text, sondern auch Bilder verarbeiten.

Im Alltag begegnet man dem bei Reisen, Einkäufen und Hausaufgaben. Speisekarten in fremder Sprache werden direkt übersetzt. Ein Schuh im Schaufenster lässt sich online wiederfinden. Eine Matheaufgabe im Heft kann fotografiert und erklärt werden — mit allen Fehlerquellen, die KI-Antworten sonst auch haben.

In Nachrichten taucht der Begriff meist in zwei Zusammenhängen auf. Erstens bei neuen iPhone-Generationen, weil Apple die Funktion als Verkaufsargument nutzt. Zweitens bei Datenschutzdebatten, denn eine dauernd fragende Kamera erfasst zwangsläufig auch fremde Gesichter und Kennzeichen. Wie viel davon das Gerät selbst verarbeitet und wie viel an Server geht, ist deshalb die entscheidende Frage.