OpenSearch

OpenSearch ist ein Programm, das Firmen auf ihren Servern installieren, um eigene Datenbestände durchsuchbar zu machen. Man kann es sich als Suchmaschine zum Selbstaufstellen vorstellen. Sie durchsucht nicht das Internet, sondern das, was man ihr vorher übergibt: Produktbeschreibungen eines Onlineshops, Artikel eines Nachrichtenarchivs oder die Protokolldateien von tausenden Rechnern. Der Quelltext des Programms ist offen zugänglich, jeder darf ihn lesen, verändern und kostenlos einsetzen. Gestartet wurde das Projekt 2021 vom Cloud-Anbieter Amazon Web Services, seit 2024 gehört es einer neutralen Stiftung, der Linux Foundation. Zum Paket gehört auch eine Oberfläche namens OpenSearch Dashboards, die Suchergebnisse als Diagramme und Tabellen darstellt.

Die Abspaltung von Elasticsearch

OpenSearch ist keine Neuentwicklung, sondern eine Kopie mit eigener Zukunft. Das Original heißt Elasticsearch und war jahrelang die Standardsoftware für Suche und Protokollauswertung. 2021 änderte der Hersteller Elastic die Lizenz, also die rechtlichen Bedingungen der Nutzung. Anbieter durften Elasticsearch danach nicht mehr ohne Weiteres als bezahlten Cloud-Dienst weiterverkaufen. Amazon tat genau das und stand plötzlich ohne rechtliche Grundlage da.

Die Antwort war ein sogenannter Fork: Man nimmt den letzten frei nutzbaren Stand des Quelltextes und entwickelt ihn unter neuem Namen weiter. Solche Abspaltungen sind in der Welt offener Software ein wichtiges Machtmittel. Sie zeigen, dass ein einzelnes Unternehmen ein Projekt nicht beliebig einschränken kann, solange der Code frei verfügbar bleibt.

Für Unternehmen zählt vor allem die Planbarkeit. Wer seine gesamte Protokollauswertung auf eine Software stützt, will nicht in zwei Jahren überrascht Lizenzgebühren zahlen. OpenSearch steht unter der Apache-2.0-Lizenz, die kaum Einschränkungen macht. Genau das ist sein größtes Verkaufsargument gegenüber dem Original.

Wie der Index die Suche schnell macht

Der Kern von OpenSearch ist ein umgekehrter Index. Ein normales Buch listet Kapitel und darin Wörter. Ein umgekehrter Index macht es andersherum: Er listet Wörter und dazu, in welchen Dokumenten sie vorkommen. Genau wie das Sachregister hinten in einem Schulbuch. Sucht man ein Wort, muss das Programm nicht alle Millionen Dokumente lesen, sondern nur einen Eintrag nachschlagen.

Damit das auch bei riesigen Datenmengen funktioniert, wird der Index zerlegt. Die Teile heißen Shards und liegen auf mehreren Rechnern gleichzeitig. Eine Suchanfrage geht an alle Teile, jeder liefert seine Treffer, das Ergebnis wird zusammengesetzt. Von jedem Teil existieren zusätzlich Kopien. Fällt ein Rechner aus, übernimmt eine Kopie, und die Suche läuft weiter.

Neuere Versionen können außerdem nach Bedeutung statt nach Wortgleichheit suchen. Dafür wandelt ein KI-Modell jeden Text in eine lange Zahlenreihe um, einen Vektor. Texte mit ähnlicher Bedeutung erhalten ähnliche Zahlenreihen. Eine Suche nach „Fahrrad reparieren“ findet dann auch einen Text über „Platten am Rad flicken“. Diese Vektorsuche ist der Grund, warum OpenSearch im Zusammenhang mit KI-Anwendungen so oft genannt wird.

Suchfelder, Serverüberwachung und KI-Chatbots

Am häufigsten begegnet man OpenSearch, ohne es zu merken: als Suchfeld eines Onlineshops oder eines Zeitungsarchivs. Auch die Vorschläge, die während des Tippens erscheinen, kommen oft aus solcher Software. Der zweite große Einsatzbereich ist die Überwachung von Technik. Server schreiben ständig Protokolle, und wenn eine Website ausfällt, sucht das Team dort nach der Ursache. Bei Millionen Zeilen pro Stunde geht das ohne Suchindex nicht.

In den Nachrichten taucht der Name in zwei Zusammenhängen auf. Erstens beim Streit um Lizenzen offener Software, wo OpenSearch als Musterbeispiel gilt. Zweitens im KI-Bereich: Chatbots, die auf Firmendokumente antworten sollen, brauchen eine Datenbank, die passende Textstellen heraussucht. Dieses Verfahren nennt man Retrieval Augmented Generation, und OpenSearch ist dafür eine verbreitete Wahl.

Ein häufiger Irrtum ist die Verwechslung mit dem Standard OpenSearch, einem alten Format für Suchfelder in Browsern. Der Name ist gleich, die Sache eine andere. Zu unterscheiden ist außerdem zwischen der freien Software und dem Amazon OpenSearch Service, dem bezahlten Cloud-Angebot, bei dem Amazon Betrieb und Wartung übernimmt.