HNSW

Moderne Suchsysteme vergleichen nicht Wörter, sondern Zahlenlisten. Jeder Text, jedes Bild und jedes Musikstück wird in eine lange Liste von Zahlen übersetzt. Ähnliche Inhalte erhalten dabei ähnliche Zahlenlisten. Eine Suche bedeutet dann: finde die Listen, die der Anfrage am nächsten liegen. Bei Millionen Einträgen wäre es zu langsam, jeden einzeln zu prüfen. HNSW ist ein Verfahren, das diese Suche stark abkürzt, indem es die Daten vorher zu einem Netz aus Nachbarschaftsverbindungen verknüpft.

Warum Ähnlichkeitssuche ohne Abkürzung zu langsam ist

Der einfache Weg heißt Brute Force: man rechnet den Abstand zur Anfrage für jeden gespeicherten Eintrag aus. Das Ergebnis ist perfekt, aber die Rechenzeit wächst mit der Datenmenge. Bei zehn Millionen Einträgen und tausend Zahlen pro Eintrag sind das Milliarden Rechenschritte pro Anfrage. Für eine Website, die in Millisekunden antworten soll, ist das unbrauchbar.

HNSW gehört deshalb zu den Verfahren für die ungefähre Nachbarsuche. „Ungefähr“ heißt: das Ergebnis ist meist, aber nicht garantiert das beste. Typisch findet ein gut eingestellter HNSW-Index über 95 Prozent der wirklich nächsten Nachbarn. Dafür ist er oft hundertfach schneller als die vollständige Suche. Diesen Tausch nennt man den Kompromiss zwischen Trefferquote und Geschwindigkeit.

Wichtig ist das vor allem für KI-Anwendungen, die vor dem Antworten nachschlagen. Ein Chatbot, der Firmendokumente durchsucht, braucht die passenden Textstellen sofort. Ist die Suche langsam, wirkt die gesamte KI langsam, egal wie gut das Sprachmodell ist.

Das mehrstöckige Netz aus Nachbarn

Der Name beschreibt den Aufbau. „Graph“ bedeutet: jeder Eintrag ist ein Punkt, und Linien verbinden ihn mit einigen ähnlichen Punkten. Man sucht dann nicht mehr alles ab, sondern läuft entlang der Linien immer zu dem Nachbarn, der der Anfrage näher liegt. Sobald kein Nachbar mehr besser ist, hat man das Ziel erreicht.

Das Besondere ist die Hierarchie, also die Stockwerke. Die oberste Ebene enthält nur wenige Punkte mit sehr weiten Sprüngen. Jede Ebene darunter wird dichter, die unterste enthält alle Daten. Die Suche startet oben und legt dort grobe Strecken zurück. Dann fällt sie eine Ebene tiefer und sucht dort feiner weiter.

Ein Vergleich trägt hier gut: Reisen von Hamburg nach einer bestimmten Straße in München. Zuerst nimmt man die Autobahn, dann Landstraßen, am Ende die Wohngebietsstraßen. Niemand fährt die Strecke in kleinen Straßen ab. Genau diese Mischung aus weiten und feinen Schritten macht HNSW schnell. Der Preis ist Arbeitsspeicher: der Graph mit all seinen Verbindungen liegt zusätzlich zu den Daten im Speicher, und das Einfügen neuer Punkte kostet Zeit, weil passende Nachbarn gesucht werden müssen.

HNSW in Vektordatenbanken und KI-Produkten

Man liest den Begriff meist im Zusammenhang mit Vektordatenbanken. Das sind Datenbanken, die genau solche Zahlenlisten speichern und durchsuchen. Bekannte Systeme wie Pinecone, Weaviate, Qdrant, Milvus oder die Bibliothek FAISS bieten HNSW als Suchmethode an. Auch klassische Systeme wie PostgreSQL können es über eine Erweiterung nutzen. In Produktankündigungen steht dann etwa, ein Dienst unterstütze „HNSW-Indizes“.

Praktisch begegnet man dem Verfahren, ohne es zu merken. Es steckt hinter Empfehlungen für ähnliche Produkte im Onlineshop und hinter der Bildsuche, bei der man ein Foto hochlädt. Ebenso hinter Chatbots, die vor der Antwort in einer Wissenssammlung nachschlagen. Auch Musikdienste finden damit Stücke, die klanglich zueinander passen.

Ein häufiger Irrtum: HNSW verstehe die Inhalte. Das tut es nicht. Die Bedeutung steckt allein in den Zahlenlisten, die ein KI-Modell vorher erzeugt hat. HNSW ist nur der Wegweiser, der diese Listen schnell zueinander findet. Wer wissen will, welche Einstellungen zählen, achtet auf zwei Werte: die Zahl der Verbindungen pro Punkt und die Breite der Suche. Mehr von beidem bringt bessere Treffer, kostet aber Speicher und Zeit.