Kandidatengenerierung

Ein Videoportal hat vielleicht eine Milliarde Videos im Angebot. Auf der Startseite zeigt es davon zwanzig. Diese zwanzig lassen sich unmöglich finden, indem man jedes einzelne Video sorgfältig bewertet. Dafür wäre die Rechenzeit viel zu lang, und der Nutzer wartet nur Millisekunden. Deshalb arbeiten solche Systeme in zwei Stufen. Die erste Stufe heißt Kandidatengenerierung: Sie holt aus dem riesigen Bestand grob und sehr schnell ein paar hundert Einträge heraus, die überhaupt in Frage kommen. Diese Vorauswahl nennt man die Kandidaten.

Warum niemand eine Milliarde Videos einzeln bewertet

Der Grund ist reine Rechenarithmetik. Ein genaues Bewertungsmodell braucht pro Eintrag vielleicht eine Millionstel Sekunde. Bei einer Milliarde Einträgen sind das rund tausend Sekunden, also über eine Viertelstunde. Für eine einzige Startseite. Das ist nicht nur zu langsam, es wäre auch unbezahlbar, weil jede Anfrage Strom und Serverzeit kostet.

Die Zweiteilung löst das Problem elegant. Die Kandidatengenerierung darf ungenau sein, muss aber extrem schnell arbeiten. Der zweite Schritt, das sogenannte Ranking, darf langsam und aufwendig sein, muss dafür aber nur noch ein paar hundert Kandidaten sortieren. Zusammen kommt man auf Antwortzeiten unter einer Zehntelsekunde.

Wichtig ist dabei ein Detail, das oft übersehen wird: Was die erste Stufe wegwirft, ist endgültig weg. Das beste Video der Welt nützt nichts, wenn es nicht unter den Kandidaten landet. Deshalb wird diese Stufe nicht danach bewertet, ob sie die Reihenfolge richtig trifft, sondern danach, ob die guten Treffer überhaupt enthalten sind. Fachleute nennen das Recall.

Von der Suchanfrage zu ein paar hundert Treffern

Ein verbreitetes Verfahren arbeitet mit Vektoren. Jeder Eintrag wird dabei in eine lange Zahlenliste übersetzt, die seinen Inhalt beschreibt. Zwei ähnliche Videos bekommen ähnliche Zahlenlisten. Auch der Nutzer selbst bekommt eine solche Liste, die aus seinem bisherigen Verhalten berechnet wird. Kandidatengenerierung heißt dann: Suche die Einträge, deren Zahlenlisten der des Nutzers am nächsten liegen.

Damit das schnell geht, werden die Vektoren vorab in einer speziellen Datenstruktur abgelegt, einem Vektorindex. Der funktioniert ähnlich wie das Stichwortverzeichnis hinten in einem Buch. Man muss nicht alle Seiten lesen, um eine Stelle zu finden. Solche Indexe liefern nicht garantiert die exakt nächsten Nachbarn, sondern nur sehr wahrscheinlich – und sind dafür tausendfach schneller.

In der Praxis laufen meist mehrere Generatoren parallel. Einer sucht nach thematischer Ähnlichkeit, einer nach Beliebtheit, einer nach Neuheit, einer nach dem, was Freunde angesehen haben. Jeder liefert seine eigene Liste, alle Listen werden zusammengeworfen. So entsteht eine Mischung, die nicht in einer einzigen Denkrichtung stecken bleibt.

Streamingdienste, Onlineshops und KI-Chatbots mit Quellenzugriff

Jede Empfehlungsleiste, die du kennst, beruht auf diesem Prinzip. Die Vorschläge bei YouTube, die Startseite von Netflix, die Zeile « Das könnte dir auch gefallen » in einem Onlineshop. Auch klassische Suchmaschinen arbeiten so: Erst werden Dokumente mit passenden Wörtern gesammelt, dann werden sie sortiert.

Besonders oft taucht der Begriff derzeit im Zusammenhang mit KI-Chatbots auf, die auf Firmendokumente zugreifen. Dieses Verfahren nennt sich RAG, kurz für Retrieval Augmented Generation. Bevor das Sprachmodell antwortet, sucht ein Kandidatengenerator die vermutlich passenden Textabschnitte heraus. Nur diese wenigen Abschnitte bekommt das Modell zu lesen. Ist die Vorauswahl schlecht, hilft auch das beste Modell nicht mehr.

In Unternehmensmeldungen erkennt man das Thema oft an Formulierungen wie « Retrieval-Pipeline » oder « Vektordatenbank ». Dahinter steckt fast immer die Frage, wie eine Firma aus sehr vielen Daten schnell die richtigen wenigen zieht. Genau das ist Kandidatengenerierung.