Multimodales Modell

Die meisten bekannten KI-Programme haben lange nur eine Sorte von Eingaben verstanden: Text. Man tippt eine Frage, es kommt geschriebene Antwort zurück. Ein multimodales Modell kann mehr als eine Sorte. Fachleute nennen jede solche Sorte eine Modalität – also Text, Bild, Ton, Video oder auch Messdaten. Ein multimodales Modell nimmt mehrere dieser Sorten an und verknüpft sie miteinander. Man kann ihm zum Beispiel ein Foto seiner Mathe-Hausaufgabe schicken und dazu fragen, wo der Fehler steckt.

Warum ein Modell mehr als Text braucht

Der größte Teil der Welt liegt nicht als Text vor. Eine Röntgenaufnahme, ein Verkehrsschild, ein Tonfall in einer Stimme – all das lässt sich schwer in Worte fassen, ohne Information zu verlieren. Ein Modell, das nur Text liest, ist von diesen Dingen abgeschnitten. Multimodalität öffnet also nicht nur eine neue Bedienart, sondern ein viel größeres Feld an Aufgaben.

Dazu kommt ein praktischer Punkt: Menschen kommunizieren ohnehin gemischt. Man zeigt auf etwas und redet gleichzeitig darüber. Wer eine KI fragen will, warum die Waschmaschine blinkt, fotografiert einfach das Display. Diese Bedienung ohne Umweg über eine genaue Beschreibung ist einer der Hauptgründe für den Erfolg solcher Systeme.

Ein Nebeneffekt betrifft das Lernen selbst. Reine Textdaten aus dem Internet sind knapp geworden, Bilder und Videos gibt es dagegen im Überfluss. Sie sind eine zusätzliche Quelle, aus der ein Modell etwas über die Welt lernen kann. Ob dieses Wissen wirklich tiefer ist, wird in der Forschung noch diskutiert.

Wie Bild und Text im gleichen Raum landen

Ein Sprachmodell rechnet intern nicht mit Buchstaben, sondern mit langen Zahlenlisten. Jedes Wortstück wird in so eine Zahlenliste übersetzt, die seine Bedeutung grob abbildet. Für Bilder macht man im Prinzip dasselbe. Ein eigener Baustein, der Bild-Encoder, zerlegt das Bild in kleine Felder und wandelt jedes in eine Zahlenliste um.

Der entscheidende Trick ist die gemeinsame Darstellung. Beim Training lernt das System, die Zahlenliste für das Wort „Katze“ und die für ein Katzenfoto nahe beieinander abzulegen. Man kann sich das wie eine riesige Landkarte der Bedeutungen vorstellen. Text und Bild werden auf derselben Karte eingetragen, nicht auf zwei getrennten.

Trainiert wird das mit Millionen von Paaren: Bild plus zugehörige Beschreibung, Video plus Untertitel, Sprachaufnahme plus Transkript. Für Ton und Video funktioniert das Verfahren analog, nur mit anderen Encodern. Wichtig ist die Abgrenzung: Ein System, das erst ein separates Spracherkennungsprogramm laufen lässt und dann den Text weitergibt, ist nicht wirklich multimodal. Es ist eine Kette getrennter Werkzeuge. Ein echtes multimodales Modell hört auch, dass jemand ironisch klingt.

Vom Handyfoto bis zum Roboterarm

Im Alltag begegnet man solchen Modellen meist über die Kamera. Aktuelle Assistenten auf dem Smartphone erklären, was auf einem Bild zu sehen ist, übersetzen eine Speisekarte oder lesen einen handschriftlichen Zettel. Auch die Sprachmodi, in denen man mit einer KI reden kann und sie mit Stimme antwortet, gehören dazu. Bei Menschen mit Sehbehinderung ersetzen sie inzwischen teilweise fremde Hilfe.

In der Wirtschaft ist der Einsatz oft unspektakulärer, aber lohnend. Versicherungen lassen Schadensfotos von Autos automatisch bewerten. In Fabriken prüfen Kameras Bauteile und geben ihre Einschätzung in Textform aus. Kliniken testen Systeme, die Aufnahmen zusammen mit dem Arztbericht lesen.

In Nachrichtenmeldungen tauchen multimodale Modelle deshalb häufig auf, wenn ein Anbieter eine neue Version vorstellt. Ein typischer Irrtum ist dabei, jede Bildausgabe für Multimodalität zu halten. Ein Programm, das nur Bilder erzeugt, versteht keine Modalitäten – es produziert eine. Interessant wird es, wenn ein System Eingaben verschiedener Art zugleich verstehen und daraus handeln kann, etwa bei Robotern, die eine Kamerasicht und einen gesprochenen Auftrag verbinden.