Vision-Sprachmodell

Ein Vision-Sprachmodell ist ein KI-System, das gleichzeitig Bilder und Sprache versteht. Normale Sprachmodelle, also Systeme wie ein Chatbot, verarbeiten nur Text. Ein Vision-Sprachmodell kann zusätzlich ein Foto, eine Grafik oder einen Screenshot als Eingabe erhalten. Es kann dann beschreiben, was es sieht, Fragen zum Bild beantworten oder Bild und Text miteinander verknüpfen. Man spricht auch von einem multimodalen Modell, weil es mehrere Arten von Information — sogenannte Modalitäten — gleichzeitig beherrscht.

Neue Möglichkeiten durch Bild-Text-Verständnis

Reine Textmodelle stoßen schnell an ihre Grenzen, sobald ein Problem visuell ist. Ein Arzt, der ein Röntgenbild zeigt, ein Ingenieur, der einen Schaltplan hochlädt, oder ein Nutzer, der ein Foto einer Quittung einscannt — all das kann ein reines Sprachmodell nicht beurteilen. Vision-Sprachmodelle schließen genau diese Lücke.

Besonders relevant ist das für die Barrierefreiheit. Ein Vision-Sprachmodell kann Blinden automatisch beschreiben, was auf einem Bild zu sehen ist. Es kann außerdem gedruckte Dokumente lesen, handschriftliche Notizen entziffern oder Diagramme aus wissenschaftlichen Aufsätzen erklären. Das sind Aufgaben, für die früher mehrere Spezialsysteme nötig waren.

Wirtschaftlich betrachtet bedeutet das: Ein einziges Modell ersetzt eine ganze Kette von Einzellösungen. Das spart Entwicklungsaufwand und macht Produkte einfacher zu bauen.

Wie Bild und Text im Modell zusammenwachsen

Ein Vision-Sprachmodell besteht typischerweise aus zwei Teilen, die zusammengeschaltet werden. Der erste Teil ist ein sogenannter Bild-Encoder — ein Netz, das ein Bild in eine lange Zahlenreihe übersetzt, die seine Inhalte beschreibt. Der zweite Teil ist ein Sprachmodell, das diese Zahlenreihe genauso liest wie sonst einen Text. Zwischen beiden sitzt ein kleines Zwischenstück, das die Zahlenformate aneinander anpasst, damit das Sprachmodell das Bild „lesen“ kann wie einen Satz.

Trainiert wird das Ganze auf riesigen Mengen an Bild-Text-Paaren: zum Beispiel Fotos mit zugehörigen Bildunterschriften aus dem Internet, Artikel mit Abbildungen oder Webseiten, auf denen Text und Bilder gemeinsam vorkommen. Das Modell lernt dabei, welche visuellen Muster zu welchen Begriffen passen. Ein Foto eines Hundes auf Schnee wird so mit Wörtern wie „Hund“, „Schnee“, „Winterlandschaft“ verknüpft.

Ein häufiger Irrtum ist, dass das Modell das Bild „sieht“ wie ein Mensch. Es verarbeitet stattdessen numerische Muster in Pixelwerten. Das Ergebnis wirkt erstaunlich menschlich, der Mechanismus darunter ist aber rein mathematisch.

Vision-Sprachmodelle in Produkten und Schlagzeilen

GPT-4o von OpenAI und Gemini von Google sind die bekanntesten Beispiele. Wer im ChatGPT-App ein Foto macht und eine Frage dazu stellt, nutzt im Hintergrund ein Vision-Sprachmodell. Apple Intelligence, Microsofts Copilot und Metas Llama-Modelle in neueren Versionen arbeiten ebenfalls damit. Der Begriff taucht in Tech-News meist im Zusammenhang mit neuen Modellversionen auf, die mehr Modalitäten unterstützen als ihre Vorgänger.

Im medizinischen Bereich wird aktiv geforscht, ob Vision-Sprachmodelle bei der Auswertung von Gewebeproben, Hautbildern oder MRT-Aufnahmen helfen können. Im Bildungsbereich gibt es erste Anwendungen, die Schülerinnen und Schülern handgeschriebene Matheaufgaben erklären — einfach aus einem Foto heraus.

Kritisch diskutiert wird, wie zuverlässig die Modelle bei ungewöhnlichen Bildern sind. Sie können bei schlecht beleuchteten Fotos, abstrakten Grafiken oder absichtlich irreführenden Bildern falsche Antworten liefern — und dabei sehr sicher klingen. Diese Schwäche, bekannt als Halluzination, gilt für Text und Bild gleichermaßen.