Vision-Language-Modell

Die meisten bekannten KI-Programme können nur eine Sorte Eingabe verarbeiten. Ein Chatprogramm nimmt Text und gibt Text zurück. Ein Vision-Language-Modell nimmt zusätzlich Bilder an. Man kann ihm ein Foto zeigen und dazu eine Frage stellen: Was steht auf diesem Schild? Warum ist dieser Witz auf dem Bild lustig? Die Antwort kommt als normaler Text. Der Name sagt genau das: „Vision“ für das Sehen, „Language“ für die Sprache.

Warum Bilder die KI erst brauchbar machen

Ein großer Teil der Informationen, mit denen Menschen arbeiten, steckt nicht in Sätzen. Rechnungen, Röntgenbilder, Bauskizzen, Screenshots, handschriftliche Notizen: alles Bilder. Ein System, das nur Text liest, muss darauf warten, dass jemand diese Inhalte abtippt. Ein Vision-Language-Modell überspringt diesen Schritt.

Damit verschiebt sich, was Software automatisch erledigen kann. Eine Versicherung kann Schadensfotos vorsortieren lassen. Ein Handwerksbetrieb kann Lieferscheine fotografieren, statt sie zu erfassen. In beiden Fällen ersetzt das Modell keine Fachkraft, aber es nimmt ihr die stumpfe Vorarbeit ab.

Wichtig ist die Abgrenzung zu älteren Bildprogrammen. Klassische Bilderkennung konnte einem Foto ein Etikett zuweisen, etwa „Katze“ oder „Auto“. Sie konnte aber keine offene Frage zu dem Bild beantworten. Genau das ist der Unterschied, den ein Vision-Language-Modell ausmacht.

Wie Pixel und Wörter zusammenfinden

Ein Sprachmodell kann intern nur mit langen Zahlenreihen rechnen. Wörter werden vor der Verarbeitung in solche Zahlenreihen umgewandelt. Ein Bild muss deshalb ebenfalls in Zahlenreihen übersetzt werden, damit es ins gleiche System passt.

Dafür sorgt ein eigener Baustein, der Bild-Encoder. Er zerlegt das Bild in kleine quadratische Kacheln, oft 14 mal 14 Pixel groß. Jede Kachel wird zu einer Zahlenreihe, die den Inhalt dieses Ausschnitts beschreibt. Eine kleine Zwischenschicht passt diese Reihen dann so an, dass das Sprachmodell sie wie Wörter behandeln kann.

Man kann sich das wie eine Übersetzung vorstellen. Der Bild-Encoder ist der Übersetzer, das Sprachmodell versteht am Ende nur eine Sprache. Trainiert wird das Ganze mit riesigen Sammlungen von Bildern und den dazugehörigen Bildunterschriften. Aus Millionen solcher Paare lernt das Modell, welche Bildinhalte zu welchen Formulierungen passen.

Ein typischer Irrtum ist, dass das Modell im Bild wirklich sucht wie ein Mensch. Es schätzt nur, welcher Text zu diesen Bilddaten am besten passt. Deshalb erfindet es bei undeutlichen Fotos gelegentlich Details, die dort nicht zu sehen sind.

Vom Handy-Chat bis zum Fabrikband

Im Alltag begegnet man solchen Modellen meist ohne den Fachnamen. Wenn man in einer Chat-App ein Foto anhängt und danach fragt, arbeitet dahinter ein Vision-Language-Modell. Dasselbe gilt für Kamera-Übersetzer, die eine fremdsprachige Speisekarte direkt auf dem Bildschirm erklären. Auch Vorlesefunktionen für blinde Nutzer beschreiben Bilder auf diese Weise.

In Wirtschaftsnachrichten tauchen die Modelle unter dem Kürzel VLM auf. Meist geht es dann um Kosten oder um neue Anwendungen. Fabriken prüfen Bauteile per Kamera, Krankenhäuser sortieren Aufnahmen vor, Banken lesen Formulare aus. Robotik ist das nächste große Feld: ein Roboter braucht Bild und Anweisung gleichzeitig, um einen Gegenstand zu greifen.

Bei Bewertungen solcher Systeme lohnt sich Skepsis. Ein Modell, das auf Testbildern glänzt, kann an unscharfen Handyfotos scheitern. Und weil jede Bildanfrage mehr Rechenleistung kostet als eine reine Textfrage, sind Bildfunktionen in Produkten oft nur begrenzt verfügbar.