Repräsentationsvarianz

Ein Computerprogramm, das lernen soll, kann mit Wörtern oder Bildern nicht direkt umgehen. Es wandelt jede Eingabe zuerst in eine lange Liste von Zahlen um. Diese Zahlenliste ist die interne Beschreibung der Eingabe, im Fachjargon die Repräsentation. Repräsentationsvarianz misst nun, wie weit solche Zahlenlisten auseinanderliegen. Man kann sie zwischen verschiedenen Eingaben messen, zwischen zwei Programmen, die dasselbe gelernt haben, oder zwischen zwei Durchläufen desselben Lernvorgangs. Der Begriff sagt für sich genommen nicht, ob viel Streuung gut oder schlecht ist – das hängt davon ab, was man gerade untersucht.

Was Streuung über die Verlässlichkeit eines Modells verrät

Wer ein System einsetzt, will wissen, ob es sich stabil verhält. Wenn zwei fast identische Sätze intern völlig verschiedene Zahlenlisten erzeugen, ist das ein Warnsignal. Es bedeutet meist, dass das System an Zufälligkeiten hängt statt an der eigentlichen Bedeutung. Solche Systeme liefern bei winzigen Änderungen plötzlich andere Ergebnisse. In der Medizin oder bei Kreditentscheidungen ist das ein ernstes Problem.

Umgekehrt ist zu wenig Streuung genauso schlecht. Wenn ein System alle Eingaben auf fast dieselbe Zahlenliste abbildet, kann es nichts mehr unterscheiden. Fachleute nennen diesen Extremfall Kollaps. Das Modell sieht dann von außen ruhig und stabil aus, ist aber praktisch blind für Unterschiede. Gesucht wird also ein Mittelweg: ähnliche Dinge nah beieinander, verschiedene Dinge deutlich getrennt.

Ein dritter Grund betrifft die Forschung selbst. Trainiert man dasselbe Modell zweimal mit leicht anderem Zufallsstart, unterscheiden sich die inneren Zahlen oft erheblich. Die Leistung nach außen kann trotzdem gleich bleiben. Deshalb sind Aussagen über das Innenleben eines Modells nur belastbar, wenn man mehrere Durchläufe vergleicht.

Wie man die Streuung überhaupt misst

Eine Repräsentation ist ein Punkt in einem Raum mit sehr vielen Richtungen, oft mehreren hundert oder tausend. Man kann sich das wie Koordinaten vorstellen, nur eben nicht mit drei Angaben, sondern mit tausend. Um Streuung zu messen, schickt man viele Eingaben durch das Modell und schaut, wie weit die entstehenden Punkte verteilt sind. Ein einfaches Maß ist der durchschnittliche Abstand vom Mittelpunkt aller Punkte.

Aufschlussreicher ist die Frage, in wie vielen Richtungen sich die Punkte überhaupt bewegen. Nutzt ein Modell nur wenige Richtungen des verfügbaren Raums, verschenkt es Beschreibungsmöglichkeiten. Fachleute sprechen dann von einer niedrigen effektiven Dimension. Für den Vergleich zweier Modelle gibt es eigene Verfahren, etwa CKA, das prüft, ob beide dieselben Eingaben als ähnlich einstufen.

Wichtig ist die Abgrenzung zur klassischen Varianz aus der Statistik. Dort geht es um die Streuung von Messwerten oder Vorhersagen. Hier geht es um die Streuung im Inneren des Modells, also in einer Schicht, die niemand direkt abliest. Beides kann sich unterscheiden: Ein Modell mit stabilen Antworten kann innen trotzdem stark schwanken.

Vom Suchfeld bis zum Modellvergleich in Fachartikeln

Am häufigsten wirkt Repräsentationsvarianz dort, wo Ähnlichkeit gebraucht wird. Suchfunktionen in Onlineshops und die Empfehlungen von Streamingdiensten vergleichen Zahlenlisten von Produkten oder Filmen. Liegen die Listen zu dicht beieinander, wirken alle Vorschläge gleich. Liegen sie zu weit auseinander, wirken die Treffer zufällig. Auch die sogenannte semantische Suche in Firmendokumenten steht und fällt mit dieser Balance.

In Fachartikeln taucht der Begriff auf, wenn Forschungsteams Modelle miteinander vergleichen. Eine typische Aussage lautet, dass zwei unterschiedlich trainierte Sprachmodelle intern erstaunlich ähnliche Strukturen entwickeln. Solche Befunde sind nur haltbar, wenn man die Streuung zwischen den Trainingsläufen mitberücksichtigt. Sonst hält man Zufall für ein Muster.

Ein verbreiteter Irrtum ist, hohe Varianz sei automatisch ein Fehler. Beim Training selbst ist Streuung sogar erwünscht, weil sie das Modell zwingt, Unterschiede zu erkennen. Kritisch wird es erst, wenn die Streuung an Dingen hängt, die für die Aufgabe egal sind. Ein Bildmodell etwa sollte eine Katze bei Sonnenlicht und im Schatten ähnlich beschreiben.