DiT-Architektur

Viele Programme, die Bilder erzeugen, arbeiten nach einem einfachen Grundprinzip. Sie starten mit einer Fläche aus reinem Zufallsrauschen, also einem Flimmern wie bei einem alten Fernseher ohne Empfang. Dann entfernen sie dieses Rauschen in vielen kleinen Schritten, bis ein Bild übrig bleibt. Für jeden dieser Schritte braucht das Programm ein Rechenwerk, das schätzt, welcher Teil des Flimmerns weg muss. Die DiT-Architektur ist ein bestimmter Bauplan für genau dieses Rechenwerk. Sie verwendet dafür dieselbe Technik, die auch in Chatprogrammen wie ChatGPT steckt: den sogenannten Transformer.

Warum Bildmodelle ihren Motor gewechselt haben

Früher benutzten fast alle Bildgeneratoren einen anderen Bauplan, das U-Net. Dieses Rechenwerk war speziell für Bilder entworfen und funktionierte gut. Es hatte aber einen Nachteil: Es ließ sich schlecht vergrößern. Wer ein U-Net doppelt so groß baute, bekam meist keine doppelt so guten Bilder.

Bei Transformern ist das anders. Aus der Sprachforschung weiß man seit Jahren: Mehr Rechenleistung und mehr Daten führen bei Transformern ziemlich verlässlich zu besseren Ergebnissen. Diesen Zusammenhang nennt man Skalierungsgesetz. Die DiT-Arbeit von 2022 zeigte, dass dieser Zusammenhang auch für Bilder gilt, wenn man das U-Net durch einen Transformer ersetzt.

Das hat die Branche verändert. Wer ein besseres Bildmodell will, muss seitdem nicht mehr nach einem cleveren neuen Bauplan suchen. Er kann denselben Bauplan nehmen und einfach mehr Rechenzeit hineinstecken. Genau darauf beruhen die großen Video- und Bildmodelle der letzten Jahre.

Vom Bild zu Kacheln und zurück

Ein Transformer kann keine Bilder lesen. Er verarbeitet Listen von Elementen, bei Texten sind das Wortbausteine. Also muss ein Bild erst in eine solche Liste umgewandelt werden. Dazu zerlegt man es in kleine quadratische Kacheln, etwa 2 mal 2 Bildpunkte groß. Jede Kachel wird zu einem Element der Liste. Ein Bild wird so zu einer Folge von einigen hundert oder tausend Kacheln.

Nun kommt die zentrale Fähigkeit des Transformers ins Spiel, die Aufmerksamkeit. Sie sorgt dafür, dass jede Kachel alle anderen Kacheln ansehen kann. Eine Kachel am linken Bildrand weiß dadurch, was rechts oben passiert. Das hilft bei Bildern mit zusammenhängendem Aufbau, etwa bei einem Gesicht mit zwei zueinander passenden Augen.

Zwei Zusatzinformationen bekommt das Modell obendrein: welcher Entrauschungsschritt gerade dran ist, und was der Nutzer sehen will. Diese Angaben werden nicht als eigene Kacheln eingespeist. Sie steuern stattdessen die Rechenschritte im Inneren. Fast alle heutigen DiT-Modelle arbeiten außerdem nicht auf echten Bildpunkten, sondern auf einer stark verkleinerten Zwischenform des Bildes. Das spart enorm viel Rechenzeit.

DiT in Sora, Stable Diffusion 3 und anderen Produkten

Am bekanntesten wurde der Bauplan durch Sora, das Videomodell von OpenAI. OpenAI beschrieb dort, wie ein Video in Raum-Zeit-Kacheln zerlegt wird. Das ist die DiT-Idee, erweitert um die Zeitachse. Auch Stable Diffusion 3, Flux und mehrere chinesische Videomodelle bauen auf dieser Familie auf.

In Nachrichten liest man den Begriff meist als Begründung dafür, warum ein neues Modell so viel besser aussieht als sein Vorgänger. Wichtig ist dabei eine Abgrenzung: DiT ist kein fertiges Produkt und keine Firma. Es ist ein Bauplan, den viele Anbieter frei verwenden und abwandeln.

Ein verbreiteter Irrtum lautet, DiT ersetze das Diffusionsverfahren. Das stimmt nicht. Das schrittweise Entrauschen bleibt genau wie vorher. Nur der Rechenkern, der jeden Schritt ausführt, ist ausgetauscht. Praktisch spürbar ist das vor allem beim Preis: Transformer brauchen viele Grafikkarten, weshalb Videogeneratoren bis heute teuer im Betrieb sind.