Multimodalität
Multimodalität bedeutet, dass ein KI-System mehrere Arten von Eingaben gleichzeitig verarbeiten kann: Text, Bilder, Ton oder Video. Ein solches System kann zum Beispiel ein Foto ansehen und eine Frage dazu beantworten.
Menschen nehmen die Welt über mehrere Kanäle wahr. Wir sehen, hören und lesen, und wir verbinden diese Eindrücke automatisch. Frühe KI-Programme konnten das nicht. Sie waren auf eine einzige Art von Eingabe festgelegt: entweder Text oder Bilder oder Ton. Multimodalität beschreibt die Fähigkeit eines Programms, mehrere dieser Kanäle zusammen zu verarbeiten. Ein Kanal wird dabei « Modalität » genannt, daher der Name.
Was ein zweiter Sinneskanal ermöglicht
Viele Aufgaben lassen sich mit Text allein gar nicht lösen. Wer wissen will, warum eine Maschine nicht anläuft, schickt am liebsten ein Foto. Wer eine Mathe-Aufgabe aus dem Heft erklärt haben will, fotografiert die Seite. Ein System, das nur Text liest, ist hier nutzlos. Genau deshalb ist Multimodalität für Anbieter von KI-Produkten so wichtig geworden.
Dazu kommt ein praktischer Punkt: sehr viel Wissen der Welt steht nicht in Sätzen. Es steckt in Diagrammen, Bauplänen, Röntgenbildern, Tabellen als Foto oder in Videoaufnahmen. Ein Modell, das nur geschriebene Sprache versteht, ist von diesen Datenmengen abgeschnitten. Multimodale Systeme können sie mitverwenden.
Wichtig ist die Abgrenzung zu einer bloßen Aneinanderreihung von Werkzeugen. Man könnte auch ein Bilderkennungsprogramm ein Foto beschreiben lassen und diese Beschreibung dann an ein Sprachprogramm weitergeben. Das funktioniert, verliert aber Details. Echte Multimodalität heißt, dass ein Modell das Bild selbst mitdenkt, statt nur eine Kurzfassung davon zu lesen.
Bilder und Töne in eine gemeinsame Sprache übersetzen
Ein KI-Modell rechnet intern nur mit Zahlenlisten. Text wird vor der Verarbeitung in solche Zahlenlisten umgewandelt, ähnlich wie Musik in eine Notenschrift. Der Trick bei Multimodalität ist, Bilder und Töne in dieselbe Notenschrift zu übersetzen. Dann liegen alle Eingaben im gleichen Format vor, und das Modell muss nicht unterscheiden, woher sie kamen.
Für Bilder übernimmt das ein eigener Baustein, der Encoder. Er zerlegt das Bild in kleine Felder und beschreibt jedes Feld durch eine Zahlenliste. Diese Listen werden zusammen mit dem Text an das eigentliche Sprachmodell übergeben. Für Ton geht man ähnlich vor: die Aufnahme wird in kurze Abschnitte zerteilt und ebenfalls in Zahlen überführt.
Damit das Ergebnis stimmig ist, braucht das Training passende Beispielpaare. Millionen von Bildern mit zugehöriger Beschreibung reichen oft schon. Aus diesen Paaren lernt das Modell, welche Bildmerkmale zu welchen Wörtern gehören. Ein häufiger Irrtum ist, dass ein multimodales Modell wirklich « sieht ». Es erkennt Muster in Zahlen, die aus Pixeln entstanden sind, und macht dabei auch typische Fehler, etwa beim Zählen vieler Objekte.
Multimodale Funktionen in heutigen Apps
Am sichtbarsten ist Multimodalität in den großen Chat-Assistenten. Man kann ein Foto hochladen und dazu Fragen stellen, oder direkt in eine Unterhaltung hineinsprechen. Auch Handykameras nutzen das: die Kamera-App erkennt Text im Bild, übersetzt Schilder oder erklärt Pflanzen. In Autos werten Systeme Kamerabilder und Radardaten gemeinsam aus.
In Wirtschaftsnachrichten taucht der Begriff meist bei neuen Modellversionen auf. Hersteller betonen dann, dass ihr Modell « nativ multimodal » sei, also von Anfang an mit Bild und Ton trainiert wurde. Das gilt als Verkaufsargument gegenüber älteren Modellen, bei denen Bildverständnis nachträglich angebaut wurde.
Der nächste Schritt heißt Multimodalität auch bei der Ausgabe. Solche Systeme antworten nicht nur mit Text, sondern erzeugen Bilder, Sprache oder kurze Videos. Für Berufe wie Grafik, Übersetzung oder Kundenservice ist das der Grund, warum über diese Technik so viel diskutiert wird.