nDCG

Wenn du etwas suchst, bekommst du selten eine einzige Antwort. Du bekommst eine Liste: zehn Links, zwanzig Produkte, fünf Videovorschläge. Solche Listen sind unterschiedlich gut sortiert. Steht das Passende auf Platz 1, ist die Liste hilfreich. Steht es auf Platz 30, hat es fast niemand gesehen. nDCG ist eine Zahl zwischen 0 und 1, die genau das misst: wie gut eine sortierte Ergebnisliste ist. Der Buchstabe n steht für normalisiert, also für den Vergleich mit der bestmöglichen Sortierung.

Warum die Position eines Treffers zählt

Einfachere Kennzahlen fragen nur, wie viele passende Ergebnisse in der Liste vorkommen. Das reicht in der Praxis nicht. Zwei Suchmaschinen können beide fünf gute Treffer liefern. Die eine setzt sie auf die Plätze 1 bis 5, die andere auf die Plätze 16 bis 20. Für den Nutzer sind das völlig verschiedene Erlebnisse. nDCG unterscheidet diese Fälle, weil die Position mit in die Rechnung eingeht.

Dazu kommt: Nicht jeder Treffer ist gleich gut. Bei einer Suche nach einem Rezept ist eine ausführliche Anleitung besser als ein Forumsbeitrag, der das Gericht nur erwähnt. Beide sind irgendwie relevant, aber nicht gleich stark. nDCG kann mit solchen Abstufungen umgehen. Menschen oder Testdaten vergeben dafür Punkte, oft von 0 für unbrauchbar bis 3 für perfekt passend.

Deshalb ist nDCG heute die Standardkennzahl, wenn Firmen ihre Suche oder ihre Empfehlungen verbessern wollen. Änderungen am Sortier-Algorithmus lassen sich damit vergleichen. Steigt der nDCG-Wert von 0,62 auf 0,68, ist die neue Version messbar besser. Ohne so eine Zahl bliebe nur das Bauchgefühl der Entwickler.

Punkte sammeln mit Rabatt nach unten

Die Rechnung läuft in drei Schritten. Zuerst bekommt jedes Ergebnis der Liste seine Relevanzpunkte. Dann werden diese Punkte je nach Platz abgewertet: Platz 1 zählt voll, Platz 2 etwas weniger, Platz 10 nur noch einen kleinen Bruchteil. Diese Abwertung heißt Discount, also Rabatt. Anschließend addiert man alle abgewerteten Punkte auf. Dieses Zwischenergebnis ist der DCG-Wert.

Der DCG-Wert allein sagt wenig, weil er von der Aufgabe abhängt. Bei einer Suche mit vielen guten Treffern fällt er automatisch hoch aus, bei einer schwierigen Suche niedrig. Deshalb folgt der letzte Schritt: Man rechnet aus, welchen DCG-Wert die perfekte Sortierung erreicht hätte. Perfekt heißt hier, alle Treffer nach Relevanz absteigend geordnet. Teilt man den echten Wert durch diesen Idealwert, kommt der nDCG heraus.

Dadurch liegt das Ergebnis immer zwischen 0 und 1. Der Wert 1 bedeutet: Besser hätte man nicht sortieren können. Meist betrachtet man nur die ersten Plätze und schreibt das dazu, etwa nDCG@10 für die ersten zehn Ergebnisse. Ein wichtiger Punkt wird oft übersehen: nDCG misst nur die Reihenfolge. Fehlt ein gutes Dokument komplett in der Datenbank, sieht die Kennzahl das nicht.

Von der Google-Suche bis zum KI-Chatbot

Suchmaschinen, Onlineshops und Streamingdienste bewerten ihre Sortierung mit nDCG. Amazon will passende Produkte oben haben, Spotify passende Songs. In allen Fällen entscheidet die Reihenfolge darüber, was Nutzer überhaupt zu sehen bekommen. Studien zeigen, dass die ersten drei Treffer den Großteil der Klicks bekommen.

Auch bei KI-Chatbots taucht die Kennzahl auf. Viele Systeme suchen vor der Antwort passende Textstellen in einer Dokumentensammlung. Dieses Verfahren nennt man Retrieval-Augmented Generation. Nur die obersten Fundstellen kommen ins Modell, weil der Platz für den Eingabetext begrenzt ist. Steht das entscheidende Dokument auf Rang 12, nützt es nichts. Deshalb wird die Suchkomponente solcher Systeme regelmäßig per nDCG geprüft.

In Fachartikeln und Benchmark-Tabellen stößt du auf Angaben wie nDCG@10 auf dem BEIR-Datensatz. Gemeint ist damit ein standardisierter Vergleichstest für Suchmodelle. Wer solche Zahlen liest, sollte auf zwei Dinge achten: auf welchen Daten gemessen wurde und bis zu welchem Rang. Ein nDCG@100 ist fast immer höher als ein nDCG@10 und deshalb nicht direkt vergleichbar.