Embedding

Computer rechnen mit Zahlen, nicht mit Wörtern. Damit ein Programm mit Sprache umgehen kann, muss jedes Wort also erst in Zahlen übersetzt werden. Ein Embedding ist genau so eine Übersetzung: Aus einem Wort wird eine lange Liste von Zahlen, oft mehrere hundert oder tausend. Der entscheidende Trick dabei ist, dass die Zahlen nicht zufällig gewählt sind. Wörter mit ähnlicher Bedeutung bekommen ähnliche Zahlenlisten. "Katze" und "Hund" liegen dadurch nah beieinander, "Katze" und "Zinssatz" weit auseinander. Man kann sich das wie Koordinaten auf einer Landkarte vorstellen, nur mit sehr vielen Richtungen statt nur Länge und Breite.

Warum Bedeutung plötzlich messbar wird

Vor den Embeddings verglichen Programme Texte meist Buchstabe für Buchstabe. Eine Suche nach "Fahrrad" fand dann keine Seite, auf der nur "Velo" oder "Drahtesel" stand. Für den Computer waren das komplett verschiedene Zeichenfolgen, obwohl sie dasselbe meinen. Mit Embeddings lässt sich der Abstand zwischen zwei Bedeutungen als Zahl ausrechnen. Damit wird aus einem Sprachproblem eine Rechenaufgabe.

Genau das macht Embeddings zu einem Grundbaustein fast aller heutigen KI-Systeme. Ein Chatbot verarbeitet den eingegebenen Text zuerst als Zahlenreihen, bevor er überhaupt anfängt zu antworten. Auch Empfehlungen bei Streamingdiensten funktionieren so: Filme, die von ähnlichen Leuten geschaut werden, landen nah beieinander. Das System muss dazu nicht wissen, was ein Krimi ist. Es genügt, dass die Zahlen zusammenpassen.

Wichtig ist die Abgrenzung zum Modell selbst. Ein Embedding ist keine KI, die Fragen beantwortet, sondern nur eine Darstellungsform von Daten. Es ist die Zwischenschicht, auf der andere Verfahren aufbauen. Wer diesen Unterschied kennt, versteht viele Produktbeschreibungen deutlich besser.

Wie die Zahlen entstehen

Niemand legt die Zahlen von Hand fest. Sie entstehen beim Training, also während ein Programm sehr große Textmengen durchgeht. Die Grundidee ist einfach: Wörter, die häufig in derselben Umgebung vorkommen, bedeuten wahrscheinlich Ähnliches. "Kaffee" und "Tee" stehen beide oft neben "trinken", "Tasse" oder "heiß". Das Programm verschiebt die Zahlen so lange, bis es aus dem Umfeld eines Wortes das Wort selbst gut vorhersagen kann.

Dabei entstehen Strukturen, die niemand vorgegeben hat. Berühmt ist das Beispiel: Nimmt man die Zahlen für "König", zieht "Mann" ab und addiert "Frau", landet man in der Nähe von "Königin". Bestimmte Richtungen im Zahlenraum entsprechen also Konzepten wie Geschlecht oder Mehrzahl. Solche Rechnungen funktionieren nicht immer perfekt, zeigen aber gut, was hier passiert.

Moderne Systeme gehen noch einen Schritt weiter. Sie erzeugen für ein Wort nicht immer dieselbe Zahlenreihe, sondern beziehen den Satz mit ein. "Bank" im Park und "Bank" mit Konto bekommen dann unterschiedliche Werte. Und Embeddings gibt es längst nicht nur für Wörter, sondern auch für ganze Sätze, Bilder, Töne oder Produkte. Ein häufiger Irrtum ist, aus einer Zahlenreihe ließe sich der Originaltext einfach zurückholen. Das gelingt nur ungefähr, weshalb Embeddings trotzdem sensible Informationen enthalten können.

Embeddings in Suchfunktionen und Chatbots

Am häufigsten trifft man Embeddings in Suchfeldern, die auch bei ungenauen Formulierungen etwas Passendes finden. Solche Suchen heißen semantisch, weil sie nach Bedeutung statt nach exakten Wörtern gehen. Der Suchbegriff wird in Zahlen umgewandelt, dann sucht das System die nächstgelegenen gespeicherten Zahlenreihen. Für diese Aufgabe gibt es eigene Vektordatenbanken, also Speicher, die auf Nachbarschaftssuche in Zahlenräumen ausgelegt sind.

In Firmen ist das die Grundlage für Chatbots, die Fragen zu internen Dokumenten beantworten. Dabei werden Handbücher in Abschnitte zerlegt und als Embeddings gespeichert. Kommt eine Frage, holt das System die passendsten Abschnitte und legt sie dem Sprachmodell vor. Dieses Verfahren wird in Nachrichten oft mit dem Kürzel RAG bezeichnet.

In Finanz- und Techmeldungen tauchen Embeddings deshalb meist indirekt auf. Wenn ein Anbieter mit besserer Dokumentensuche oder Betrugserkennung wirbt, stecken oft Embeddings dahinter. Auch die Rückwärtssuche nach ähnlichen Bildern und Produktvorschläge in Onlineshops arbeiten so. Es ist eine unauffällige Technik, aber eine, die sehr viele KI-Funktionen überhaupt erst möglich macht.