Deep Learning Super Sampling

Ein Computerspiel muss jedes einzelne Bild neu berechnen, oft 60 Mal pro Sekunde. Je mehr Bildpunkte ein Bildschirm hat, desto mehr Arbeit ist das für die Grafikkarte. Deep Learning Super Sampling dreht diese Rechnung um: Das Spiel wird absichtlich in einer kleineren Auflösung berechnet, also mit weniger Bildpunkten. Danach vergrößert ein Programm das Bild wieder auf die volle Größe des Bildschirms. Dieses Programm hat vorher an sehr vielen Beispielbildern gelernt, wie ein scharfes Bild aussehen muss. Das Ergebnis wirkt fast so gut wie ein echtes, voll berechnetes Bild — kostet aber viel weniger Rechenzeit.

Was Spieler dadurch gewinnen

Der wichtigste Gewinn ist die Bildrate, also die Zahl der Bilder pro Sekunde. Ein Spiel, das in voller Auflösung nur 35 Bilder pro Sekunde schafft, kann mit dem Verfahren auf 70 oder mehr kommen. Unter etwa 30 Bildern pro Sekunde wirkt ein Spiel ruckelig und reagiert träge. Der Sprung darüber ist deshalb kein Luxus, sondern entscheidet, ob ein Spiel überhaupt angenehm spielbar ist.

Besonders wichtig wird das bei sehr aufwendigen Grafikeffekten. Raytracing zum Beispiel berechnet Licht, Schatten und Spiegelungen physikalisch genau und frisst dadurch enorm viel Leistung. Ohne ein Hochrechnungsverfahren wären solche Effekte auf normalen Grafikkarten kaum nutzbar. Viele moderne Spiele setzen inzwischen stillschweigend voraus, dass Spieler diese Technik einschalten.

Es gibt auch einen wirtschaftlichen Aspekt. Wer eine ältere Grafikkarte besitzt, kann damit oft ein oder zwei Jahre länger auf einen teuren Neukauf verzichten. Für Nvidia ist die Technik gleichzeitig ein Verkaufsargument, denn sie läuft nur auf den eigenen Karten. Konkurrenten wie AMD und Intel haben deshalb eigene Verfahren entwickelt.

Vom kleinen Bild zum scharfen Bild

Im Kern steckt ein neuronales Netz dahinter, also ein Programm, das aus Beispielen Muster lernt statt festen Regeln zu folgen. Nvidia hat es mit Bildpaaren trainiert: einmal die grobe Version einer Spielszene, einmal die extrem hochwertig berechnete Version derselben Szene. Aus Millionen solcher Paare lernt das Netz, wie es fehlende Details ergänzen muss. Kanten werden geglättet, Texturen wieder scharf gezeichnet.

Entscheidend ist, dass das Netz nicht nur das aktuelle Bild sieht. Es bekommt auch die vorherigen Bilder und sogenannte Bewegungsvektoren. Das sind Angaben darüber, wohin sich jedes Objekt seit dem letzten Bild verschoben hat. Dadurch kann das Verfahren Details aus früheren Bildern wiederverwenden und richtig platzieren.

Für diese Rechnung nutzen Nvidia-Karten spezielle Recheneinheiten, die Tensor-Kerne. Sie sind auf die Rechenart neuronaler Netze zugeschnitten und arbeiten parallel zur normalen Grafikberechnung. Neuere Versionen erzeugen zusätzlich komplett neue Zwischenbilder, die es im Spiel gar nicht gab. Das erhöht die Bildrate weiter, kann aber die Eingabeverzögerung leicht vergrößern — ein bekannter Kritikpunkt.

Im Grafikmenü und in den Quartalszahlen

Am häufigsten begegnet der Begriff im Einstellungsmenü von Spielen. Dort stehen Stufen wie Qualität, Ausgewogen oder Leistung. Sie bestimmen, wie klein das ursprünglich berechnete Bild sein darf. Je höher die Leistungsstufe, desto flüssiger das Spiel und desto eher sieht man Fehler wie flimmernde Kanten oder verschmierte Details bei schnellen Bewegungen.

Auch in Testberichten und Kaufberatungen taucht die Technik ständig auf. Ein verbreiteter Irrtum ist, das Verfahren mache Bilder magisch besser als das Original. Es rekonstruiert Informationen, die tatsächlich fehlen — und liegt dabei manchmal daneben. In Standbildern sieht das Ergebnis oft hervorragend aus, in schnellen Szenen fallen Schwächen eher auf.

Schließlich spielt der Begriff in Wirtschaftsnachrichten eine Rolle. Er gilt als Beispiel dafür, wie KI-Rechenwerke aus dem Rechenzentrum in Endgeräte wandern. Ähnliche Hochrechnungsverfahren stecken inzwischen in Spielkonsolen, Fernsehern und Smartphone-Kameras.