Mode Collapse

Ein KI-Modell, das Bilder oder Texte erzeugt, soll die Vielfalt seiner Trainingsdaten lernen. Mode Collapse beschreibt das Gegenteil davon: Das Modell „kollabiert“ auf wenige oder sogar nur eine einzige Art von Ausgabe, die es immer wieder produziert. Egal welche Eingabe man macht, die Ergebnisse sehen sich zum Verwechseln ähnlich. Das Modell hat technisch gelernt, Ausgaben zu erzeugen, die plausibel wirken — aber es hat dabei fast alle Abwechslung verloren. Man merkt das Problem erst, wenn man das Modell wirklich benutzt und feststellt, dass es sich ständig wiederholt.

Was Mode Collapse für generative Modelle bedeutet

Generative Modelle — also Modelle, die neue Inhalte wie Bilder, Texte oder Töne erstellen — sind nur dann nützlich, wenn ihre Ausgaben vielfältig sind. Ein Bildgenerator, der immer denselben Hund erzeugt, egal ob man nach einem Schäferhund oder einem Pudel fragt, ist wertlos. Genau das ist der Kern des Problems: Das Modell hat sich auf eine „sichere“ Ausgabe eingeschossen, die selten komplett falsch liegt, aber nie wirklich trifft.

Besonders kritisch ist Mode Collapse beim Training von GANs — das sind Systeme aus zwei Netzen, bei denen ein Netz Inhalte erzeugt und ein zweites Netz prüft, ob sie echt wirken. Wenn das erzeugende Netz merkt, dass eine bestimmte Ausgabe das prüfende Netz immer täuscht, hat es keinen Anreiz mehr, etwas anderes auszuprobieren. Es wiederholt einfach, was funktioniert. Das prüfende Netz wiederum lernt, diese eine Ausgabe zu erkennen — woraufhin das erzeugende Netz eine neue Engstelle findet, und das Spiel beginnt von vorn.

Wie Mode Collapse entsteht und wie man ihn bekämpft

Das Grundproblem ist ein falscher Trainingsanreiz. Das Modell wird dafür belohnt, plausible Ausgaben zu liefern — nicht dafür, möglichst unterschiedliche. Wenn eine einzige Ausgabe zuverlässig als plausibel bewertet wird, ist es aus Sicht des Modells rational, diese immer zu wiederholen. Die Vielfalt der Trainingsdaten wird dabei komplett ignoriert.

Forscher begegnen dem auf mehreren Wegen. Eine Methode ist, das Training so zu gestalten, dass das Modell explizit für Vielfalt belohnt wird — zum Beispiel, indem man prüft, wie ähnlich sich aufeinanderfolgende Ausgaben sind. Eine andere Methode verändert die Architektur des prüfenden Netzes so, dass es nicht nur einzelne Ausgaben bewertet, sondern ganze Gruppen davon vergleicht. Beide Ansätze machen das Training komplizierter, aber stabiler. Ein vollständig gelöstes Problem ist Mode Collapse bis heute nicht — es ist eines der hartnäckigsten offenen Themen im Training generativer Modelle.

Ein häufiger Irrtum ist, Mode Collapse mit schlechter Qualität gleichzusetzen. Die einzelnen Ausgaben können dabei durchaus hochwertig wirken. Das Problem ist nicht, dass das Modell schlechte Bilder macht — es ist, dass es immer dasselbe gute Bild macht.

Mode Collapse in der Praxis und in der Berichterstattung

Konkret wurde das Phänomen früh bei Gesichtsgeneratoren sichtbar. Manche Modelle erzeugten nach dem Training fast ausschließlich Gesichter eines bestimmten Typs — obwohl die Trainingsdaten Tausende verschiedene Gesichter enthielten. Ähnliches passiert bei Musik- oder Textgeneratoren, die immer wieder in dieselben Muster verfallen.

In Technikmedien taucht der Begriff meist dann auf, wenn ein neu veröffentlichtes generatives Modell kritisiert wird. Nutzer bemerken, dass Porträts immer denselben Gesichtsausdruck haben, generierte Melodien sich strukturell gleichen oder ein Chatbot auf sehr unterschiedliche Fragen ähnlich klingende Antworten gibt. Mode Collapse ist dabei nicht immer vollständig — oft gibt es Grade davon, bei denen das Modell zwar Variationen zeigt, aber nur innerhalb eines viel zu engen Rahmens.

Für Unternehmen, die generative KI in Produkte einbauen, ist Mode Collapse ein ernstes Qualitätsproblem. Ein Bildgenerator für Marketingmaterial, der immer ähnliche Layouts erzeugt, verliert schnell seinen Nutzen. Deshalb gehört die Prüfung auf Mode Collapse heute zu den Standardtests beim Entwickeln und Bewerten solcher Modelle.