Latent Space

Ein Computer kann mit einem Foto oder einem Satz nichts direkt anfangen. Er rechnet nur mit Zahlen. Deshalb übersetzt ein KI-System jede Eingabe zuerst in eine lange Liste von Zahlen. Diese Liste beschreibt den Inhalt nicht Pixel für Pixel, sondern in verdichteter Form: eher « Katze, seitlich, draußen, hell » als « Punkt 1 ist dunkelgrau ». Alle möglichen dieser Zahlenlisten zusammen bilden einen Raum, den man Latent Space nennt. Latent heißt verborgen, denn diese Darstellung ist für Menschen nicht direkt lesbar.

Warum Nachbarschaft im Zahlenraum so nützlich ist

Der entscheidende Punkt ist die Anordnung. Inhalte, die sich ähneln, bekommen ähnliche Zahlenlisten und liegen damit dicht beieinander. Ein Foto einer Hauskatze liegt nah an einem Foto eines Luchses und weit weg von einem Foto einer Waschmaschine. Das gilt auch für Sprache: Die Sätze « Wie wird das Wetter? » und « Regnet es morgen? » landen fast am selben Ort, obwohl sie kaum gemeinsame Wörter haben.

Damit lässt sich Bedeutung messen. Man rechnet einfach den Abstand zwischen zwei Punkten aus und weiß, wie ähnlich sich zwei Inhalte sind. Genau darauf beruht die semantische Suche, also eine Suche nach Sinn statt nach exakten Wörtern. Ein Support-System findet so den passenden Hilfeartikel, auch wenn der Nutzer ganz andere Begriffe verwendet als die Dokumentation.

Ein zweiter Nutzen ist Kompression. Ein Bild mit einer Million Pixeln lässt sich oft mit wenigen hundert Zahlen brauchbar beschreiben. Bildgeneratoren rechnen deshalb gar nicht auf dem fertigen Bild, sondern in dieser kleineren Darstellung. Das spart enorm viel Rechenzeit und ist ein Grund, warum solche Programme heute auf normalen Grafikkarten laufen.

Wie ein Modell diese Darstellung lernt

Niemand legt fest, welche Zahl für welche Eigenschaft steht. Der Raum entsteht beim Training von selbst. Ein häufiges Verfahren nutzt zwei Teile: Ein Encoder presst die Eingabe in die kurze Zahlenliste, ein Decoder versucht daraus das Original wiederherzustellen. Weil der Engpass in der Mitte sehr schmal ist, muss das Modell das Unwichtige wegwerfen und das Wesentliche behalten.

Man kann sich das wie eine Landkarte vorstellen. Eine Karte lässt Bäume und Hausnummern weg, behält aber die Lage der Städte zueinander bei. Wer die Karte versteht, kann Entfernungen ablesen, ohne je dort gewesen zu sein. Der Latent Space ist eine solche Karte für Bedeutung, nur mit hunderten Richtungen statt zweien.

Weil es ein zusammenhängender Raum ist, kann man sich darin bewegen. Nimmt man den Punkt eines Gesichts und den eines anderen und geht Schritt für Schritt dazwischen, entstehen Zwischengesichter. Manche Richtungen entsprechen erstaunlich klaren Eigenschaften, etwa « älter » oder « lächelnd ». Ein verbreiteter Irrtum ist allerdings, jede einzelne Zahl stehe für ein Merkmal. Meist verteilt sich eine Eigenschaft über viele Zahlen gleichzeitig.

Latent Space in Produkten und Schlagzeilen

Am sichtbarsten wird das Prinzip bei Bildgeneratoren. Stable Diffusion trägt die Idee sogar im Namen: Das Modell erzeugt zuerst eine grobe Darstellung im Latent Space und rechnet sie erst am Ende in ein echtes Bild um. Auch Musik- und Videomodelle arbeiten nach demselben Muster.

Im Alltag begegnet man dem Begriff meist unter anderen Namen. Wenn von Embeddings oder Vektordatenbanken die Rede ist, geht es um genau diese Zahlenlisten und ihre Speicherung. Firmen legen ihre Dokumente als Punkte in einem solchen Raum ab, damit ein Chatbot die passenden Stellen findet, bevor er antwortet. Auch Empfehlungen bei Streamingdiensten beruhen darauf, dass Filme und Nutzer in einem gemeinsamen Raum verortet werden.

Wichtig ist die Abgrenzung: Latent Space bezeichnet den gesamten Raum, ein Embedding ist ein einzelner Punkt darin. Und der Raum ist nur so gut wie die Trainingsdaten. Sind darin Vorurteile enthalten, liegen bestimmte Berufe und bestimmte Personengruppen ungewollt nah beieinander. Solche Verzerrungen sind ein regelmäßiges Thema in Debatten über faire KI.