Frame-Interpolation
Frame-Interpolation erzeugt künstliche Zwischenbilder in einem Video, damit Bewegungen flüssiger wirken. Aus 24 Einzelbildern pro Sekunde werden so zum Beispiel 60 oder 120 – ohne dass die Kamera sie je aufgenommen hat.
Ein Video besteht aus vielen Einzelbildern, die schnell hintereinander gezeigt werden. Ein Kinofilm zeigt davon meist 24 pro Sekunde, ein Handyvideo oft 30 oder 60. Je mehr Bilder pro Sekunde, desto flüssiger wirkt eine Bewegung für das Auge. Frame-Interpolation ist ein Verfahren, das nachträglich zusätzliche Bilder in diese Reihe einfügt. Diese Zwischenbilder wurden nie gefilmt, sondern von einem Computerprogramm ausgerechnet. Das Programm schaut sich zwei aufeinanderfolgende Bilder an und schätzt, wie das Bild dazwischen ausgesehen hätte.
Warum flüssige Bewegung so viel Rechenzeit spart
Bilder aufzunehmen oder zu berechnen kostet Aufwand. Bei einem Computerspiel muss die Grafikkarte jedes einzelne Bild neu zeichnen. Schafft sie nur 40 Bilder pro Sekunde, ruckelt das Spiel spürbar. Ein interpoliertes Zwischenbild ist deutlich billiger als ein komplett neu gezeichnetes. Deshalb bauen Grafikkartenhersteller diese Technik direkt in ihre Treiber ein.
Auch in der Filmrestaurierung ist das nützlich. Alte Aufnahmen laufen manchmal mit 16 oder 18 Bildern pro Sekunde und wirken deshalb hektisch und ruckelig. Mit berechneten Zwischenbildern lassen sie sich auf moderne Bildraten bringen. Ähnliches gilt für Zeitlupen: Wer ein normales Video stark verlangsamt, hat plötzlich zu wenige Bilder. Interpolation füllt die Lücken, statt jedes Bild einfach doppelt zu zeigen.
Es gibt aber auch Kritik. Viele Zuschauer empfinden interpolierte Kinofilme als unnatürlich glatt. Dieser Effekt hat einen eigenen Namen: Soap-Opera-Effekt, weil das Bild an billig produzierte Fernsehserien erinnert. Regisseure beschweren sich regelmäßig darüber, dass Fernseher diese Funktion ab Werk einschalten.
Wie das Programm die Bewegung errät
Der Kern des Verfahrens heißt Bewegungsschätzung. Das Programm vergleicht zwei benachbarte Bilder und sucht, wohin sich einzelne Bildbereiche verschoben haben. Ein Ball links unten im ersten Bild und rechts oben im zweiten hat sich offensichtlich bewegt. Aus dieser Verschiebung lässt sich berechnen, wo der Ball in der Mitte gewesen sein muss. Dort wird er dann ins neue Zwischenbild gemalt.
Ältere Verfahren rechnen das rein mathematisch aus, indem sie ähnliche Bildausschnitte suchen. Moderne Systeme nutzen dafür neuronale Netze, also lernende Programme, die zuvor Millionen echter Videos gesehen haben. Sie haben gelernt, wie sich Menschen, Autos oder Wasser typischerweise bewegen. Dadurch treffen sie bessere Vermutungen als reine Rechenregeln.
Trotzdem bleibt es Raten. Schwierig wird es, wenn etwas im ersten Bild verdeckt ist und im zweiten sichtbar wird. Das Programm hat für diese Fläche keine Vorlage und muss sie erfinden. Typische Fehler sind verschmierte Hände, wabernde Kanten oder kurz aufblitzende Artefakte, also sichtbare Bildfehler. Besonders anfällig sind schnelle Schnitte und sehr ruckartige Bewegungen.
Von der Spielkonsole bis zur KI-Videoerzeugung
Am häufigsten begegnet dir die Technik im Fernseher. Hersteller vermarkten sie unter Namen wie Motionflow, TruMotion oder Motion Rate. In den Einstellungen lässt sie sich meist abschalten, oft versteckt unter Begriffen wie Zwischenbildberechnung. Auch Smartphones nutzen sie für Zeitlupenaufnahmen mit sehr hohen Bildraten.
Im Gaming-Bereich ist das Thema seit einigen Jahren ein Verkaufsargument. Nvidia nennt sein Verfahren Frame Generation, AMD spricht von Fluid Motion Frames. Beide fügen zwischen zwei gerenderten Spielbildern ein berechnetes ein und verdoppeln so die angezeigte Bildrate. Ein Nachteil: Die Steuerung fühlt sich dadurch nicht schneller an, weil die Zwischenbilder keine neuen Eingaben des Spielers enthalten. Diese Verzögerung nennt man Latenz.
In News-Meldungen taucht Frame-Interpolation heute oft im Zusammenhang mit KI-Videogeneratoren auf. Systeme wie Sora oder Runway erzeugen Videos aus Textbeschreibungen. Sie berechnen häufig nur wenige Schlüsselbilder und füllen den Rest per Interpolation auf. Das spart erhebliche Rechenkosten. Wichtig ist die Abgrenzung: Interpolation erfindet keine neuen Szenen, sie schließt nur Lücken zwischen vorhandenen Bildern.