Multimodales Training

Ein Computerprogramm, das aus Beispielen lernt, nennt man ein Modell. Viele bekannte Modelle haben lange nur mit Text gelernt: Sie lasen Milliarden von Sätzen und sagten voraus, welches Wort als Nächstes kommt. Beim multimodalen Training bekommt ein solches System zusätzlich andere Arten von Daten zu sehen und zu hören. Jede dieser Datenarten heißt eine Modalität: Text, Bild, Ton, Video, manchmal auch Messwerte von Sensoren. Das Ziel ist ein einziges System, das all das gemeinsam verarbeitet, statt für jede Aufgabe ein eigenes Programm zu brauchen. Wenn du einem Chatbot heute ein Foto schickst und er dir sagt, was darauf zu sehen ist, steckt genau das dahinter.

Warum ein Modell mehr als Text braucht

Sehr viel Wissen über die Welt steht nirgends geschrieben. Dass ein Glas zerbricht, wenn es vom Tisch fällt, lernt man durch Zusehen. Ein reines Textmodell kennt solche Zusammenhänge nur aus zweiter Hand, nämlich aus Beschreibungen. Modelle, die auch Bilder und Videos gesehen haben, machen bei Fragen zu Raum, Bewegung und Größenverhältnissen weniger Fehler.

Dazu kommt ein sehr praktischer Grund: Menschen kommunizieren selten in reinem Text. Ein Hausaufgabenfoto, ein Screenshot einer Fehlermeldung, ein Diagramm aus dem Erdkundebuch – all das ist Bild plus Text zugleich. Ein System, das nur tippen kann, ist für solche Situationen unbrauchbar. Multimodale Modelle sind deshalb der Grund, warum KI-Assistenten in den letzten Jahren aus dem Chatfenster herausgekommen sind.

Es gibt auch einen wirtschaftlichen Antrieb. Brauchbarer Text im Internet ist begrenzt, und die großen Anbieter haben ihn weitgehend ausgeschöpft. Bilder und vor allem Videos sind dagegen in gewaltigen Mengen vorhanden. Für Firmen, die immer größere Modelle bauen wollen, sind sie der nächste große Rohstoff.

Wie Bild und Text in dieselbe Sprache übersetzt werden

Ein Modell rechnet intern nur mit Zahlen, nicht mit Buchstaben oder Pixeln. Text wird deshalb in kleine Stücke zerlegt und jedes Stück in eine lange Zahlenreihe umgewandelt. Bei einem Bild passiert im Prinzip dasselbe: Ein eigener Baustein, der Bild-Encoder, zerteilt das Bild in Kacheln und wandelt jede Kachel in eine solche Zahlenreihe um. Am Ende liegen Wörter und Bildkacheln im selben Zahlenformat vor.

Genau das ist der Trick. Weil beide Datenarten gleich aussehen, kann das Hauptmodell sie in einer einzigen Kette verarbeiten. Es unterscheidet nicht mehr grundsätzlich zwischen dem Wort « Hund » und dem Bildausschnitt eines Hundes. Für Ton funktioniert es ähnlich: Aufnahmen werden in kurze Abschnitte zerschnitten und ebenfalls in Zahlenreihen übersetzt.

Trainiert wird oft mit Paaren aus Bild und passender Bildunterschrift, wie man sie millionenfach im Netz findet. Das Modell lernt, welche Beschreibung zu welchem Bild gehört. Ein verbreiteter Irrtum ist, dass so ein System « sieht » wie ein Mensch. Es erkennt statistische Muster, und deshalb übersieht es manchmal Dinge, die jedem Betrachter sofort auffallen.

Multimodale KI im Alltag und in den Schlagzeilen

Du begegnest der Technik häufiger, als es aussieht. Die Kamerafunktion in Übersetzungs-Apps liest Schilder und ersetzt den Text direkt im Bild. Sprachassistenten nehmen deine Stimme entgegen und antworten wieder als Ton. In Chatbots kannst du ein Foto deiner Mathe-Aufgabe hochladen und nach dem Rechenweg fragen.

In Wirtschaftsnachrichten taucht der Begriff auf, wenn Anbieter neue Modellgenerationen vorstellen. Formulierungen wie « nativ multimodal » bedeuten dabei, dass ein Modell von Anfang an mit allen Datenarten gelernt hat. Die Gegenvariante besteht aus einem Textmodell, dem man später ein Bildmodul angeflanscht hat. Die erste Variante gilt als leistungsfähiger, ist aber im Training deutlich teurer.

Wichtig ist die Abgrenzung zur reinen Bilderzeugung. Ein Programm, das aus einem Satz ein Bild malt, arbeitet zwar mit zwei Modalitäten, ist aber auf diese eine Aufgabe zugeschnitten. Multimodales Training meint das breitere Ziel: ein System, das Eingaben unterschiedlicher Art versteht und sinnvoll darauf reagiert. Genau darin sehen viele Unternehmen die Grundlage für Roboter und Assistenzsysteme, die sich in der echten Welt zurechtfinden sollen.