Retrieval-Augmented Generation

Programme wie ChatGPT erzeugen Texte auf Grundlage von Mustern, die sie aus riesigen Textmengen gelernt haben. Dieses Wissen ist fest eingebaut und endet zu einem bestimmten Zeitpunkt. Über die Preisliste deiner Schule oder den Vertrag deiner Eltern wissen sie nichts. Retrieval-Augmented Generation löst dieses Problem mit einem Zwischenschritt. Zuerst durchsucht das System eine Sammlung von Dokumenten nach passenden Stellen. Diese Stellen werden der Frage beigelegt, und erst dann formuliert das Programm seine Antwort. Der englische Name bedeutet wörtlich: Texterzeugung, die durch Nachschlagen ergänzt wird.

Warum Nachschlagen besser ist als Auswendiglernen

KI-Textprogramme neigen dazu, plausibel klingende Dinge zu erfinden, wenn sie etwas nicht wissen. Fachleute nennen das Halluzination. Das ist kein Fehler im engeren Sinn, sondern eine Folge der Bauweise: Das Programm sagt immer das wahrscheinlichste nächste Wort voraus. Ob das Ergebnis stimmt, prüft es nicht. Liegen die richtigen Textstellen aber direkt vor der Nase, sinkt die Erfindungsrate deutlich.

Der zweite Vorteil ist Aktualität. Ein Modell neu zu trainieren kostet Millionen und dauert Wochen. Ein neues Dokument in eine Sammlung einzufügen dauert Sekunden. Firmen können ihr internes Wissen so nutzen, ohne die KI selbst anzufassen. Das ist der Hauptgrund, warum fast jedes Unternehmens-Chatbot-Projekt heute auf diesem Prinzip aufbaut.

Dazu kommt die Nachprüfbarkeit. Weil das System weiß, aus welchem Dokument eine Information stammt, kann es die Quelle mitliefern. Der Nutzer kann nachlesen und selbst urteilen. Bei einer Antwort aus dem reinen Modellgedächtnis ist das unmöglich, denn dort gibt es keine einzelne Quelle mehr.

Von der Frage über den Vektorraum zur Antwort

Zuerst werden alle Dokumente in kleine Häppchen zerlegt, meist ein bis zwei Absätze lang. Jedes Häppchen wird in eine lange Zahlenreihe umgerechnet, ein sogenanntes Embedding. Diese Zahlenreihe beschreibt die Bedeutung des Textes. Ähnliche Bedeutungen ergeben ähnliche Zahlenreihen. Alle Zahlenreihen landen in einer speziellen Datenbank, der Vektordatenbank.

Stellt jemand eine Frage, wird auch sie in so eine Zahlenreihe umgerechnet. Die Datenbank sucht dann die Häppchen mit den ähnlichsten Zahlenreihen. Der Vorteil gegenüber einer normalen Stichwortsuche: Es zählt der Sinn, nicht das exakte Wort. Die Frage nach dem Urlaubsanspruch findet also auch einen Absatz, in dem nur von Ferientagen die Rede ist.

Die drei bis fünf besten Treffer werden nun zusammen mit der Frage an das Sprachmodell geschickt. Dazu kommt eine Anweisung wie: Antworte nur mit dem, was in diesen Texten steht. Das Modell schreibt daraus eine flüssige Antwort. Es ist dabei eher Formulierer als Wissensquelle. Schlechte Treffer führen zu schlechten Antworten, egal wie gut das Modell ist. Deshalb steckt der meiste Aufwand in der Suche, nicht in der Textgenerierung.

RAG in Suchmaschinen, Support und Firmenarchiven

Wenn Google oder Bing über den Treffern eine zusammengefasste Antwort mit Fußnoten anzeigen, steckt genau dieses Prinzip dahinter. Die Fußnoten sind die abgerufenen Quellen. Auch die Funktion, bei der ein Chatbot eine hochgeladene PDF-Datei zusammenfasst und Fragen dazu beantwortet, arbeitet oft so.

Im Berufsleben ist der häufigste Einsatz der Kundensupport. Ein Chatbot greift auf Handbücher und alte Ticketverläufe zu. Banken und Versicherungen nutzen dasselbe Verfahren für Verträge und Regelwerke. In Stellenanzeigen und Börsennachrichten taucht die Abkürzung RAG deshalb sehr häufig auf. Anbieter von Vektordatenbanken sind aus diesem Grund zu eigenen Firmen mit hohen Bewertungen geworden.

Ein verbreiteter Irrtum ist, dass RAG das Modell schlauer macht. Das tut es nicht. Es gibt ihm nur bessere Unterlagen. Zu unterscheiden ist das Verfahren vom Finetuning, bei dem man das Modell selbst mit eigenen Daten weitertrainiert. Finetuning verändert den Stil und die Fähigkeiten, RAG liefert Fakten. In vielen Projekten kombiniert man beides.