Model Collapse

Programme wie ChatGPT lernen, indem sie riesige Mengen an Texten und Bildern aus dem Internet auswerten. Bis vor Kurzem stammte fast alles davon von Menschen. Inzwischen ist ein wachsender Teil des Internets selbst maschinell erzeugt. Wenn ein neues Programm hauptsächlich aus solchen maschinell erzeugten Inhalten lernt, verschlechtert sich seine Qualität von Generation zu Generation. Genau diesen Effekt nennt man Model Collapse. Am Ende dieser Kette stehen Systeme, die zwar flüssig klingen, aber inhaltlich flach und eintönig sind.

Warum das Internet als Lernstoff knapp wird

Die Leistungssprünge der letzten Jahre beruhten zu einem großen Teil auf schlichter Menge. Mehr Text, mehr Bilder, mehr Rechenzeit ergaben bessere Systeme. Hochwertige, von Menschen geschriebene Texte sind aber eine endliche Ressource. Manche Forscher schätzen, dass der brauchbare Vorrat im Netz noch in diesem Jahrzehnt weitgehend ausgeschöpft ist.

Gleichzeitig füllt sich das Netz mit automatisch erzeugten Artikeln, Produktbeschreibungen und Bildern. Wer heute Daten aus dem Web sammelt, kann kaum noch sauber trennen, was von Menschen und was von Maschinen stammt. Damit droht der Nachschub nicht nur knapp, sondern auch verunreinigt zu werden.

Für Unternehmen ist das ein handfestes wirtschaftliches Risiko. Ein Modell, dessen Training Hunderte Millionen Dollar kostet, darf nicht schlechter sein als sein Vorgänger. Deshalb kaufen Firmen inzwischen teuer Rechte an Zeitungsarchiven, Foren und Buchbeständen ein. Menschlich erzeugte Daten werden zu einem Rohstoff mit Marktpreis.

Wie die seltenen Fälle verschwinden

Ein KI-Modell speichert keine Texte, sondern Wahrscheinlichkeiten. Es lernt, welche Formulierungen häufig vorkommen und welche selten. Wenn es selbst etwas erzeugt, wählt es meist das Wahrscheinliche. Ungewöhnliche Wörter, seltene Meinungen und Randfälle tauchen in seinen Ausgaben deshalb seltener auf, als sie im Original vorkamen.

Trainiert man nun ein neues Modell mit diesen Ausgaben, kennt es die Randfälle noch schwächer. Seine eigenen Texte sind daraufhin noch gleichförmiger. Nach mehreren Runden ist ein großer Teil der Vielfalt einfach verschwunden. Fachleute vergleichen das mit einer Fotokopie einer Fotokopie: Jeder Durchgang wirkt für sich harmlos, aber nach zehn Durchgängen ist der Text kaum noch lesbar.

Ein verbreiteter Irrtum ist, dass die Modelle dabei plötzlich Unsinn ausgeben. Der Verfall ist eher unauffällig. Die Antworten bleiben grammatisch korrekt und klingen souverän. Verloren geht das, was der Durchschnitt nicht abbildet: die ungewöhnliche Krankheit, der Dialekt, die Minderheitenposition. Ein Modell mit Model Collapse wirkt kompetent und ist trotzdem ärmer geworden.

Gegenmittel und Debatten in der Branche

Der Begriff wurde 2023 durch eine viel zitierte Studie britischer und kanadischer Forscher bekannt und taucht seitdem regelmäßig in Wirtschaftsnachrichten auf. Meist geht es dabei um Datenlizenzen: Wenn ein KI-Konzern einen Vertrag mit einem Verlag oder einer Nachrichtenagentur schließt, ist Model Collapse ein Teil der Begründung. Menschlich erstellte Inhalte sind die Versicherung gegen den schleichenden Qualitätsverlust.

In der Forschung ist die Lage weniger dramatisch, als frühe Schlagzeilen nahelegten. Der Verfall tritt vor allem dann auf, wenn neue Daten die alten vollständig ersetzen. Mischt man maschinell erzeugte Daten mit menschlichen Originalen, bleibt die Qualität weitgehend stabil. Außerdem nutzen Firmen gezielt erzeugte Trainingsdaten mit Erfolg, etwa für Mathematik, wo sich jede Lösung automatisch überprüfen lässt.

Praktisch heißt das: Entscheidend ist nicht die Herkunft der Daten allein, sondern die Kontrolle darüber. Wer prüft und aussortiert, kann maschinelle Daten gefahrlos nutzen. Wer ungefiltert alles aus dem Netz einsammelt, geht ein Risiko ein. Deshalb kennzeichnen manche Plattformen KI-Inhalte inzwischen mit unsichtbaren Markierungen, sogenannten Wasserzeichen, damit sie sich später wieder herausfiltern lassen.