Datenknappheit

Programme wie ChatGPT lernen nicht aus Regeln, die ihnen jemand einprogrammiert. Sie lernen aus riesigen Mengen an Beispielen: Texten, Bildern, Tonaufnahmen, Messwerten. Je mehr solcher Beispiele es gibt, desto besser werden die Ergebnisse in der Regel. Datenknappheit heißt: Von diesen Beispielen gibt es nicht genug, oder nicht genug in brauchbarer Qualität. Das Problem tritt in zwei Formen auf. Manchmal fehlt Material für ein sehr spezielles Gebiet, etwa für eine seltene Krankheit. Manchmal ist aber auch das gesamte frei verfügbare Material der Welt fast aufgebraucht.

Warum der Vorrat an Texten endlich ist

Die größten KI-Systeme wurden mit fast allem trainiert, was öffentlich im Internet steht. Dazu gehören Wikipedia, Nachrichtenseiten, Foren, digitalisierte Bücher und Programmcode. Fachleute schätzen den Umfang dieses brauchbaren Textbestands auf einige Billionen Wörter. Diese Menge wächst zwar weiter, aber nur langsam. Der Hunger der Modelle wächst deutlich schneller.

Bisher galt eine einfache Faustregel: mehr Daten und mehr Rechenleistung ergeben ein besseres Modell. Diese Regel funktioniert nur, solange es Nachschub gibt. Genau hier setzt der Begriff Datenwand an. Er beschreibt den Punkt, an dem sich Modelle nicht mehr allein dadurch verbessern lassen, dass man ihnen noch mehr Text vorlegt.

Dazu kommt ein rechtliches Problem. Viele Verlage, Bildagenturen und Plattformen sperren inzwischen die Sammelprogramme der KI-Firmen aus. Andere verlangen Geld für ihre Inhalte. Damit schrumpft der frei zugängliche Teil des Internets für KI-Unternehmen, obwohl der Bestand selbst nicht kleiner wird.

Was Firmen gegen den Datenmangel unternehmen

Der naheliegendste Weg ist Zukaufen. OpenAI, Google und andere schließen Verträge mit Nachrichtenhäusern, Forenbetreibern und Archiven. Ein zweiter Weg führt zu Material, das bisher nicht als Text vorlag: alte Bücher, Videos, Podcasts, wissenschaftliche Aufsätze. Ein Video liefert dabei nicht nur Bilder, sondern auch gesprochene Sprache und Untertitel.

Der dritte Weg heißt synthetische Daten. Dabei erzeugt eine KI selbst die Beispiele, mit denen eine andere KI trainiert wird. Das klingt nach einem Trick, funktioniert aber in Bereichen mit klarer Kontrolle recht gut. Bei Mathematikaufgaben oder Programmcode lässt sich nämlich prüfen, ob eine erzeugte Lösung stimmt. Bei offenen Fragen ohne eindeutige Antwort ist diese Prüfung schwierig.

Deshalb warnen Forscher vor dem sogenannten Modellkollaps. Trainiert man Modelle immer wieder mit den Ausgaben ihrer Vorgänger, verstärken sich deren Fehler und Einseitigkeiten. Seltene, ungewöhnliche Fälle verschwinden aus dem Material. Das Ergebnis ähnelt einer Fotokopie einer Fotokopie: Mit jedem Durchgang gehen Details verloren.

Datenknappheit in Medizin, Robotik und Börsenmeldungen

Am stärksten spürbar ist der Mangel dort, wo es nie viele Daten gab. Für eine Krankheit mit wenigen hundert dokumentierten Fällen weltweit lässt sich kaum ein zuverlässiges Diagnosemodell trainieren. Ähnlich ist die Lage bei kleinen Sprachen. Für Englisch existieren gewaltige Textmengen, für Isländisch oder Suaheli sehr viel weniger.

In der Robotik ist die Lage noch enger. Ein Roboterarm, der greifen lernen soll, braucht Aufzeichnungen echter Bewegungen. Die entstehen nicht nebenbei im Internet, sondern nur in Laboren und Fabriken, in Echtzeit. Deshalb üben Firmen viel in Simulationen, also in Computernachbildungen der Wirklichkeit.

In Wirtschaftsnachrichten begegnet der Begriff meist als Argument über Aktienkurse. Wenn Analysten fragen, ob der KI-Boom weitergeht, geht es oft um die Frage, ob genug Trainingsmaterial nachkommt. Auch Millionenverträge zwischen KI-Firmen und Medienhäusern sind eine direkte Folge dieser Knappheit. Daten sind damit von einem Nebenprodukt zu einem handelbaren Rohstoff geworden.