Nativ multimodales Modell
Ein nativ multimodales Modell ist ein KI-System, das Text, Bilder, Ton und Video von Anfang an gemeinsam gelernt hat. Es verarbeitet all diese Eingaben in einem einzigen Programm, statt mehrere getrennte Spezialsysteme hintereinanderzuschalten.
Computerprogramme, die Sprache verstehen, wurden lange nur mit geschriebenem Text gefüttert. Wollte man ihnen auch Bilder oder Töne zeigen, hängte man Zusatzprogramme davor. Ein Bild wurde also erst von einem eigenen Programm in eine Beschreibung übersetzt, und diese Beschreibung las dann das Sprachprogramm. Ein nativ multimodales Modell macht das anders: Es lernt Text, Bilder, Ton und Video von Beginn an gemeinsam, in einem einzigen System. „Nativ“ heißt hier „von Geburt an“ — die Fähigkeit wurde nicht nachträglich angeschraubt. „Modalität“ ist einfach die Fachbezeichnung für eine Art von Information, also Sprache, Schrift, Bild oder Geräusch.
Was beim Umweg über Text verloren geht
Der ältere Bauweg ist wie ein Gespräch mit einem Dolmetscher, der nur Stichworte weitergibt. Was in den Stichworten fehlt, ist danach für immer weg. Wandelt ein Zusatzprogramm eine Sprachaufnahme in Text um, verschwinden Tonfall, Lautstärke und Pausen. Das Sprachmodell kann dann nicht mehr erkennen, ob jemand wütend, unsicher oder ironisch geklungen hat.
Bei Bildern gilt dasselbe. Eine automatische Bildbeschreibung nennt vielleicht „ein Diagramm mit einer Kurve“, aber nicht die genauen Zahlen an der Achse. Ein nativ multimodales Modell sieht die Pixel selbst und kann deshalb Werte aus einer Grafik ablesen oder handschriftliche Notizen entziffern. Genau das brauchen Nutzer, die ein Foto ihres Hausaufgabenblatts hochladen.
Dazu kommt die Geschwindigkeit. Jede Zwischenstation kostet Zeit, meist einige hundert Millisekunden. Bei einem Sprachassistenten, der sich wie ein echtes Gespräch anfühlen soll, ist das zu viel. Ein einziges System, das direkt hört und direkt antwortet, kann fast ohne Verzögerung reagieren und sich auch mitten im Satz unterbrechen lassen.
Alles wird zu Zahlenketten
Der Trick liegt in einer gemeinsamen Sprache im Inneren des Modells. Jede Eingabe wird in kleine Häppchen zerlegt, die man Token nennt, und jedes Häppchen wird als lange Zahlenliste dargestellt. Bei Text ist so ein Häppchen eine Silbe oder ein kurzes Wort. Bei einem Bild ist es ein kleiner Bildausschnitt, bei Ton ein Bruchteil einer Sekunde. Für das Modell sehen am Ende alle Häppchen gleich aus: Es sind einfach Zahlen.
Deshalb kann dieselbe Rechenmaschine im Inneren mit allem umgehen. Sie ist darauf trainiert, in einer Folge von Häppchen das jeweils nächste vorherzusagen. Ob dabei ein Wort auf ein Bild folgt oder ein Ton auf ein Wort, ist ihr gleichgültig. Das Modell lernt so von selbst Verbindungen zwischen den Modalitäten: dass das Wort „Hund“ zu einem bestimmten Aussehen und einem bestimmten Geräusch gehört.
Das Training braucht dafür passende Daten, also Videos mit Tonspur, Bilder mit Bildunterschriften, Filme mit Untertiteln. Solche Paare sind der eigentliche Engpass. Ein häufiger Irrtum ist übrigens, dass jedes Modell mit Bildfunktion nativ multimodal sei. Viele Systeme sind es nicht — sie kombinieren nur geschickt mehrere Bausteine, und man erkennt das oft daran, dass sie bestimmte Kombinationen nicht beherrschen.
Kamera-Chats und Übersetzung in Echtzeit
Am deutlichsten merkt man den Unterschied bei Sprachmodi in Chat-Apps. Man richtet die Handykamera auf ein Regal, spricht eine Frage hinein und bekommt sofort eine gesprochene Antwort. Auch Live-Übersetzung, bei der Betonung und Sprechpausen erhalten bleiben, funktioniert nur so. Anbieter wie OpenAI, Google und Meta bewerben ihre neueren Modelle ausdrücklich mit diesem Ansatz.
In Nachrichten und Produktankündigungen tauchen dafür Wörter wie „omni“, „natively multimodal“ oder „Vision-Modell“ auf. Das ist Marketing, beschreibt aber meist genau diese Bauweise. Für Firmen ist sie interessant, weil ein Wartungsteam ein Foto einer defekten Maschine schicken und dazu erklären kann, welches Geräusch sie macht.
Grenzen gibt es trotzdem. Video verschlingt sehr viele Häppchen und damit Rechenleistung, weshalb lange Filme meist nur stichprobenartig ausgewertet werden. Und ein Modell, das alles etwas kann, ist nicht automatisch besser als ein Spezialprogramm für eine einzige Aufgabe.