Chroma
Chroma ist eine offene Software, in der Texte, Bilder oder Codeschnipsel als lange Zahlenlisten gespeichert werden, damit ein Programm später inhaltlich ähnliche Stellen wiederfinden kann. Sie wird vor allem eingesetzt, damit KI-Chatbots auf eigene Dokumente zugreifen können.
Chroma ist ein Speicher für Suchanfragen, die nach Bedeutung statt nach Wortlaut funktionieren. Dazu wird jeder Text vorher in eine lange Liste von Zahlen umgerechnet. Diese Zahlenliste beschreibt den Inhalt so, dass ähnliche Inhalte ähnliche Zahlen bekommen. Chroma legt diese Listen ab und findet auf Anfrage die Einträge, deren Zahlen am nächsten liegen. So findet eine Suche nach „Wie kündige ich?“ auch einen Absatz, in dem nur „Vertragsbeendigung“ steht. Die Software ist kostenlos und der Programmcode ist öffentlich einsehbar.
Warum Chatbots einen solchen Speicher brauchen
Ein Sprachmodell wie ChatGPT kennt nur, was in seinem Training vorkam. Deine Klassenarbeit, die Handbücher deiner Firma oder die Preisliste von letzter Woche kennt es nicht. Man kann ihm diese Texte aber vor der Antwort mitgeben. Genau dafür braucht man einen Speicher, der die passenden Ausschnitte schnell heraussucht.
Dieses Vorgehen heißt Retrieval Augmented Generation, kurz RAG: Erst suchen, dann antworten lassen. Chroma ist eines der bekanntesten Werkzeuge für den Suchteil. Es hat sich verbreitet, weil man es mit wenigen Zeilen Code startet. Andere Systeme derselben Art sind Pinecone, Weaviate oder Qdrant.
Wirtschaftlich ist das relevant, weil viele Firmen keine eigenen Modelle trainieren wollen. Ein Training kostet Millionen. Ein Dokumentenspeicher neben einem fertigen Modell kostet fast nichts. Deshalb läuft ein großer Teil der Firmen-KI heute nach diesem Muster.
Vom Dokument zur Zahlenliste
Zuerst wird ein Dokument in Stücke geschnitten, meist wenige Absätze lang. Jedes Stück schickt man durch ein kleines Hilfsmodell, ein sogenanntes Embedding-Modell. Es gibt eine Liste von oft mehreren hundert Zahlen zurück. Man kann sich diese Liste als Koordinaten in einem Raum vorstellen. Texte über Fußball landen dort dicht beieinander, Texte über Steuerrecht ganz woanders.
Chroma speichert diese Koordinaten zusammen mit dem Originaltext und Zusatzangaben wie Dateiname oder Datum. Kommt eine Frage, wird auch sie in Koordinaten umgerechnet. Dann sucht Chroma die nächstgelegenen Punkte. Bei vielen Einträgen prüft es nicht alle, sondern nutzt eine Abkürzung, die fast immer die richtigen Treffer findet.
Ein häufiger Irrtum: Chroma versteht die Texte nicht und formuliert keine Antworten. Es ist reine Sortier- und Suchtechnik. Die Antwort schreibt danach das Sprachmodell. Und wenn die Stücke schlecht geschnitten sind, findet auch die beste Suche nur Bruchstücke.
Wo Chroma im Einsatz steckt
Am häufigsten trifft man Chroma in Chatbots, die Fragen zu einer bestimmten Sammlung von Dokumenten beantworten. Beispiele sind ein Assistent für die Bedienungsanleitungen eines Maschinenbauers oder eine Suche im Archiv einer Zeitung. Auch Programmierhilfen nutzen die Technik, um in großen Projekten passende Codestellen zu finden.
In Nachrichtenmeldungen erscheint Chroma meist als Teil der sogenannten KI-Werkzeugkette. Der Name fällt neben Baukästen wie LangChain oder LlamaIndex, die den Ablauf aus Suchen und Antworten zusammensetzen. Das Unternehmen hinter Chroma hat Risikokapital in zweistelliger Millionenhöhe eingesammelt und verdient an einer Betriebsvariante in der Cloud.
Für Lernende ist Chroma interessant, weil man es auf dem eigenen Laptop ausprobieren kann. Ein paar PDF-Dateien, ein Skript, und die Suche funktioniert. Bei sehr großen Datenmengen und viele Nutzern gleichzeitig setzen Firmen aber oft auf spezialisierte Alternativen.