Verteilungsgeometrie

Ein Computerprogramm, das aus Beispielen lernt, verwandelt jedes Beispiel in eine lange Zahlenreihe. Ein Foto wird zu Helligkeitswerten, ein Satz zu Zahlen für jedes Wort. Solche Zahlenreihen kann man sich als Punkte in einem Raum vorstellen, ähnlich wie Orte auf einer Landkarte. Millionen solcher Punkte liegen nicht gleichmäßig verstreut, sondern bilden Muster: Klumpen, Bänder, Löcher, dünne Ausläufer. Diese Form nennt man Verteilungsgeometrie. Sie beschreibt also nicht einzelne Daten, sondern die Gestalt, die alle Daten zusammen bilden.

Warum die Form der Daten über Fehler entscheidet

Ein lernendes System sucht Regeln, die für die Punkte gelten, die es gesehen hat. In dichten Bereichen der Punktwolke gibt es viele Beispiele. Dort sind die Regeln gut abgesichert und die Vorhersagen meist verlässlich. In dünn besetzten Randbereichen liegen kaum Beispiele. Dort rät das Modell im Grunde, wirkt dabei aber genauso selbstsicher.

Genau daher kommen viele spektakuläre Fehlschläge. Ein Bilderkennungssystem für Verkehrsschilder wurde vielleicht nur bei Tageslicht trainiert. Ein verschneites Schild in der Dämmerung liegt dann weit außerhalb der bekannten Punktwolke. Fachleute sprechen von einer Verschiebung der Verteilung, wenn die Daten im Einsatz eine andere Form haben als beim Training. Das ist einer der häufigsten Gründe, warum ein Modell im Labor glänzt und in der Praxis enttäuscht.

Ein verbreiteter Irrtum ist, mehr Daten würden dieses Problem automatisch lösen. Entscheidend ist nicht die Menge, sondern die Abdeckung. Eine Million Fotos aus einer einzigen Stadt füllt immer noch nur einen kleinen Teil des Raums.

Klumpen, Ränder und niedrige Dimensionen

Ein wichtiger Befund der Forschung lautet: Echte Daten füllen ihren Raum fast nie aus. Ein Foto mit einer Million Bildpunkten hat rechnerisch eine Million Zahlenwerte. Trotzdem liegen alle sinnvollen Fotos auf einer viel dünneren Fläche in diesem Raum. Zufällig gewürfelte Bildpunkte ergeben nämlich nur Rauschen, kein Bild. Diese dünne Fläche nennt man eine Mannigfaltigkeit, also eine gekrümmte Fläche in einem viel größeren Raum.

Ein Vergleich hilft: Eine Straßenkarte ist flach und hat zwei Richtungen, obwohl die Welt drei hat. Wer sich an Straßen hält, braucht die dritte Richtung selten. Genauso bewegt sich ein Modell entlang der Fläche der realistischen Daten. Aufgabe des Lernens ist es, diese Fläche zu finden und sinnvoll zu unterteilen.

Messen lässt sich die Form mit verschiedenen Werkzeugen. Man schaut, wie viele Richtungen die Punktwolke wirklich nutzt, wie weit typische Nachbarpunkte auseinanderliegen oder wo sich getrennte Klumpen bilden. Solche Kennzahlen zeigen etwa, ob eine Trainingsmenge einseitig ist. Auch Darstellungen, die viele Dimensionen auf eine zweidimensionale Karte zusammenquetschen, gehören dazu.

Von der Betrugserkennung bis zur Produktauswahl

Banken nutzen die Idee bei der Erkennung verdächtiger Zahlungen. Normale Überweisungen bilden dichte Klumpen. Eine Zahlung, die weit außerhalb aller Klumpen liegt, wird geprüft. Dasselbe Prinzip steckt hinter Qualitätskontrollen in Fabriken, wo ungewöhnliche Messwerte einen Alarm auslösen.

In Berichten über KI taucht der Gedanke oft unter anderen Namen auf. Wenn eine Firma schreibt, ihr Modell arbeite auch außerhalb der Trainingsverteilung zuverlässig, geht es genau darum. Auch Debatten über einseitige Trainingsdaten sind im Kern Debatten über Verteilungsgeometrie: Bestimmte Gruppen sind in der Punktwolke kaum vertreten, und dort werden Vorhersagen schlechter.

Für den Alltag folgt daraus eine nützliche Frage. Bevor man einem KI-Werkzeug vertraut, sollte man klären, ob die eigene Aufgabe den Beispielen ähnelt, mit denen es gelernt hat. Ein Sprachmodell für englische Fachtexte kann bei deutschen Amtsschreiben schwächeln. Der Grund ist selten Dummheit des Modells, sondern die Lage der Aufgabe am dünnen Rand seiner Datenwolke.