JEPA

JEPA steht für „Joint Embedding Predictive Architecture“. Das ist ein Bauplan für Programme, die aus Bildern oder Videos selbst etwas über die Welt lernen. Die Idee dahinter: Das Programm sieht einen Teil eines Bildes und soll erraten, wie der verdeckte Rest aussieht. Es malt diesen Rest aber nicht aus. Stattdessen sagt es nur voraus, was dort ungefähr zu sehen ist — in Form einer stark zusammengefassten Beschreibung. Vorgeschlagen wurde dieser Ansatz vom französischen Forscher Yann LeCun, der lange die KI-Forschung bei Meta geleitet hat.

LeCuns Einwand gegen die Sprachmodelle

Heutige Chatbots werden trainiert, indem sie das jeweils nächste Wort eines Textes vorhersagen. Das funktioniert bei Sprache erstaunlich gut. Bei Bildern und Videos scheitert dieses Rezept jedoch häufig. Wer den nächsten Videoframe Pixel für Pixel vorhersagen soll, verschwendet seine gesamte Rechenleistung auf Details, die niemand wissen kann: die genaue Form jedes Blattes, das Rauschen im Schatten, die Farbe eines Autos am Horizont.

LeCun argumentiert seit Jahren, dass Modelle deshalb kein echtes Weltverständnis aufbauen. Sie lernen Oberflächen statt Zusammenhänge. Ein Mensch weiß dagegen, dass ein losgelassener Ball fällt — ohne sich vorzustellen, wie jedes einzelne Pixel dabei aussieht. JEPA soll genau diese Ebene treffen: Vorhersagen über das Wesentliche, nicht über die Oberfläche.

Wichtig ist diese Debatte, weil sie eine strategische Wette ist. Ein großer Teil der Branche investiert Milliarden in immer größere Sprachmodelle. LeCun hält diesen Weg für eine Sackgasse auf dem Weg zu Maschinen mit gesundem Menschenverstand. JEPA ist sein Gegenvorschlag, und ob er aufgeht, ist offen.

Vorhersagen im Raum der Bedeutungen

Der Kern des Verfahrens ist ein sogenannter Encoder. Das ist ein Teil des Netzes, der ein Bild in eine lange Zahlenliste übersetzt. Diese Liste heißt Embedding und beschreibt den Inhalt kompakt: etwa „Hund, seitlich, in Bewegung, auf Gras“. Feine Details gehen dabei absichtlich verloren.

Beim Training bekommt das System zwei Ausschnitte desselben Bildes. Der eine Ausschnitt ist sichtbar, der andere wird verdeckt. Beide werden durch Encoder geschickt. Ein zusätzlicher Baustein, der Predictor, soll nun aus dem Embedding des sichtbaren Teils das Embedding des verdeckten Teils erraten. Verglichen werden also zwei Zahlenlisten, nie zwei Bilder.

Ein Vergleich macht den Unterschied deutlich. Ein rekonstruierendes Modell muss ein verdecktes Gesicht komplett neu zeichnen. Ein JEPA muss nur sagen: „Dort ist ein Gesicht, das nach links schaut.“ Das ist eine viel ehrlichere Aufgabe, weil sie unvorhersehbare Details gar nicht erst verlangt. Der bekannteste Fallstrick heißt Kollaps: Das Modell könnte schummeln und für jedes Bild dieselbe Zahlenliste ausgeben, dann stimmt die Vorhersage immer. Dagegen setzt man technische Bremsen ein, etwa eine leicht verzögerte Kopie des Encoders.

Von der Forschungsarbeit zum Roboterarm

In der Praxis begegnet man JEPA vor allem in Veröffentlichungen von Meta. Bekannt sind I-JEPA für Einzelbilder und V-JEPA für Videos, veröffentlicht seit 2023. Die trainierten Modelle sind frei verfügbar und werden von Forschungsgruppen weltweit weiterverwendet. Ein fertiges Produkt für Endnutzer gibt es bislang nicht.

Der praktische Nutzen liegt in der Vorbereitung. Ein JEPA lernt ohne beschriftete Daten, also ohne dass Menschen tausende Bilder von Hand mit Stichworten versehen. Danach genügen wenige Beispiele, um es auf konkrete Aufgaben anzupassen — etwa das Erkennen von Handlungen in Überwachungsvideos oder in Sportaufnahmen.

Besonders interessant ist der Ansatz für die Robotik. Ein Roboter muss abschätzen, was passiert, wenn er einen Gegenstand schiebt. Genau solche Vorhersagen über kurze Zukunft sind das Versprechen von JEPA. In Nachrichtentexten taucht der Begriff deshalb meist im Zusammenhang mit „Weltmodellen“ auf, also mit KI-Systemen, die physikalische Zusammenhänge intern abbilden sollen.