BM25
BM25 ist eine Rechenformel, mit der Suchmaschinen entscheiden, welche Texte am besten zu einer Suchanfrage passen. Sie bewertet, wie oft die gesuchten Wörter in einem Text vorkommen, wie selten sie insgesamt sind und wie lang der Text ist.
Wer in einer Suchmaske ein paar Wörter eintippt, bekommt eine sortierte Liste zurück. Irgendetwas muss also entscheiden, welcher Text oben steht und welcher auf Seite drei landet. BM25 ist eine der bekanntesten Formeln für genau diese Entscheidung. Sie gibt jedem Text eine Punktzahl, und die höchste Punktzahl gewinnt. Die Formel stammt aus den 1990er-Jahren und wird bis heute in fast jeder Suchsoftware eingesetzt. Der Name ist eine Abkürzung für „Best Match 25“ und verrät nichts über die Funktionsweise — es war schlicht der 25. Versuch einer Forschergruppe.
Wichtig ist: BM25 versteht keine Sprache. Die Formel weiß nicht, was „Zinsen“ bedeutet. Sie zählt nur, wie sich Wörter über Texte verteilen. Genau diese Schlichtheit ist ihre Stärke.
Warum eine alte Formel nicht verschwindet
BM25 ist extrem schnell und braucht kaum Rechenleistung. Eine Suche über Millionen Dokumente läuft damit auf einem normalen Server in Millisekunden. Moderne Sprachmodelle, also KI-Programme, die Text verstehen, brauchen für dieselbe Aufgabe deutlich mehr Hardware. Für viele Anwendungen wäre das reine Verschwendung.
Dazu kommt ein praktischer Vorteil: BM25 muss nichts lernen. Man kann die Formel auf einen völlig neuen Datenbestand anwenden, ohne sie vorher mit Beispielen zu füttern. Bei Fachtexten mit seltenen Begriffen ist sie oft sogar besser als KI-Verfahren. Artikelnummern, Medikamentennamen oder Gesetzesparagraphen findet BM25 exakt, weil sie einfach Zeichenketten sind.
Ihre Schwäche ist das Gegenstück dazu. Wer „Auto“ sucht, findet keine Texte, in denen nur „Wagen“ oder „Fahrzeug“ steht. Für Bedeutungsähnlichkeit ist die Formel blind. Deshalb kombiniert man sie heute häufig mit KI-basierter Suche, statt sie zu ersetzen.
Die drei Signale hinter der Punktzahl
Das erste Signal ist die Worthäufigkeit. Kommt ein Suchwort in einem Text zehnmal vor, ist das ein stärkeres Zeichen als einmal. Allerdings wächst die Punktzahl nicht einfach mit. Zwischen einmal und dreimal liegt viel, zwischen fünfzigmal und sechzigmal fast nichts. Die Formel flacht bewusst ab, damit Textspam mit endlosen Wortwiederholungen nicht gewinnt.
Das zweite Signal ist die Seltenheit eines Wortes im gesamten Datenbestand. Bei der Anfrage „die Geschichte der Inflation“ ist „die“ wertlos, weil es überall vorkommt. „Inflation“ trägt fast die ganze Information. BM25 gewichtet seltene Wörter deshalb stark und häufige Wörter schwach. Dieses Prinzip heißt inverse Dokumenthäufigkeit.
Das dritte Signal ist die Textlänge. Ein Buch mit 300 Seiten enthält jedes Suchwort zwangsläufig öfter als eine kurze Notiz. Das wäre ein unfairer Vorteil. BM25 vergleicht die Länge eines Textes daher mit der Durchschnittslänge und rechnet lange Texte herunter. Zwei Stellschrauben, in der Fachsprache k1 und b genannt, steuern, wie stark diese Korrekturen wirken.
BM25 in Suchfeldern und KI-Systemen
Die Formel steckt in Suchsoftware wie Elasticsearch, OpenSearch und Lucene. Diese Programme betreiben die Suchfelder vieler Online-Shops, Nachrichtenarchive und Firmen-Wikis. Wenn im Intranet eines Unternehmens eine Volltextsuche funktioniert, ist BM25 oft die Standardeinstellung dahinter.
In News zu KI begegnet man dem Begriff meist im Zusammenhang mit RAG. Das steht für „Retrieval-Augmented Generation“ und bedeutet: Ein Chatbot sucht erst passende Dokumente heraus und schreibt seine Antwort dann auf dieser Grundlage. Für den Suchschritt nutzen viele Systeme BM25 gemeinsam mit einem KI-Verfahren. Diese Mischung nennt man hybride Suche.
Außerdem dient BM25 in der Forschung als Messlatte. Wer ein neues Suchverfahren vorstellt, muss zeigen, dass es BM25 schlägt. Erstaunlich oft gelingt das nur knapp oder nur bei bestimmten Datensätzen. Eine Formel aus der Zeit vor dem Internetboom ist damit noch immer ein ernstzunehmender Gegner.