Lippensynchronität

Wenn ein Mensch spricht, bewegen sich seine Lippen in einem festen Zusammenhang mit dem, was zu hören ist. Ein « M » verlangt geschlossene Lippen, ein « O » einen gerundeten Mund. Lippensynchronität heißt: Bild und Ton passen dabei exakt zusammen. Sie fehlt zum Beispiel, wenn ein Video ruckelt und der Ton vorauseilt. Wir merken das sofort, obwohl wir gar nicht bewusst auf den Mund achten. Schon eine Verschiebung von etwa einer Zehntelsekunde wirkt für viele Zuschauer störend.

Warum schon Millisekunden auffallen

Das Gehirn wertet beim Zuhören ständig auch das Bild mit aus. Wer den Mund seines Gegenübers sieht, versteht Sprache in lauter Umgebung deutlich besser. Diese Verknüpfung ist so tief eingeübt, dass Abweichungen unangenehm auffallen. Fachleute sprechen vom « Uncanny Valley », also dem unheimlichen Tal: Etwas sieht fast echt aus, und gerade deshalb wirkt es falsch.

Für Rundfunk und Streaming gibt es deshalb feste Toleranzen. Übliche Empfehlungen erlauben, dass der Ton dem Bild etwa 40 Millisekunden vorauseilt oder rund 60 Millisekunden hinterherhinkt. Wird das überschritten, gilt die Übertragung als fehlerhaft. Bei Videokonferenzen ist die Toleranz größer, weil Netzverzögerungen ohnehin bekannt sind.

Wirtschaftlich interessant wird das Thema durch Übersetzungen. Ein Film, der in zwanzig Sprachen synchronisiert wird, braucht bisher zwanzig Aufnahmestudios und viele Wochen Arbeit. Wenn Software Mundbewegungen an eine neue Sprache anpassen kann, sinken diese Kosten stark. Genau deshalb investieren Streaming-Anbieter und Werbefirmen in solche Werkzeuge.

Vom Phonem zur Mundform

Der klassische Weg beginnt mit der Zerlegung des Tons in kleinste Lauteinheiten, sogenannte Phoneme. Jedem Phonem ordnet man eine typische Mundstellung zu, das Visem genannt wird. Mehrere Laute teilen sich dabei dieselbe Mundform: « P », « B » und « M » sehen von außen praktisch gleich aus. Ein Animationsprogramm reiht diese Mundformen dann im richtigen Takt aneinander.

Moderne KI-Systeme arbeiten anders. Sie bekommen eine Tonspur und ein Video einer Person und erzeugen daraus direkt neue Bilder des unteren Gesichts. Dabei lernen sie aus riesigen Mengen echter Videoaufnahmen, welche Mundbewegung zu welchem Klang gehört. Niemand programmiert die Regeln von Hand, das Modell leitet sie aus den Beispielen ab.

Die Schwierigkeit liegt in den Details. Neben den Lippen bewegen sich Kiefer, Wangen und Zunge, außerdem entstehen Schatten und Falten. Auch der Rhythmus stimmt oft nicht: Ein englischer Satz ist meist kürzer als seine deutsche Übersetzung. Gute Systeme dehnen deshalb die Sprache leicht oder passen die Übersetzung an die verfügbare Länge an.

Von der Synchronfassung bis zum Deepfake

Am häufigsten begegnet man dem Thema bei synchronisierten Filmen und Serien. Übersetzer suchen dort seit jeher Formulierungen, die inhaltlich passen und zugleich zur Mundbewegung des Originals stimmen. Auch Computerspiele und Animationsfilme nutzen automatische Verfahren, um Figuren sprechen zu lassen. Bei virtuellen Assistenten mit Gesicht gilt dasselbe.

In den Nachrichten taucht Lippensynchronität vor allem im Zusammenhang mit Deepfakes auf. Damit sind Videos gemeint, in denen eine echte Person Dinge sagt, die sie nie gesagt hat. Eine überzeugende Lippenbewegung ist dafür die entscheidende Zutat. Umgekehrt suchen Erkennungsprogramme genau nach kleinen Fehlern in diesem Bereich, etwa nach Zähnen, die unnatürlich verschwimmen.

Ein verbreiteter Irrtum ist, dass es hier nur um Bildbearbeitung geht. Tatsächlich hängen Stimme, Übersetzung und Animation eng zusammen. Wer eine fremdsprachige Fassung erzeugt, muss meist alle drei Bereiche gleichzeitig lösen. Deshalb bündeln viele Anbieter Sprachklonung, Übersetzung und Lippenanpassung in einem einzigen Dienst.