Abrufverstärkung

Programme wie ChatGPT erzeugen Antworten aus dem, was sie beim Lernen aus riesigen Textmengen aufgenommen haben. Dieses Wissen steckt fest im Programm und endet an dem Tag, an dem das Lernen abgeschlossen wurde. Abrufverstärkung durchbricht diese Grenze. Vor jeder Antwort sucht das System zuerst in einer angeschlossenen Sammlung von Dokumenten nach passenden Textstellen. Diese gefundenen Stellen werden zusammen mit der Frage an das Programm übergeben. Es antwortet also nicht mehr nur aus dem Gedächtnis, sondern mit einem aufgeschlagenen Buch vor sich.

Was gegen erfundene Antworten hilft

Sprachprogramme neigen dazu, Dinge zu erfinden, die überzeugend klingen. Fachleute nennen das Halluzination. Der Grund ist simpel: Das Programm sagt Wort für Wort voraus, was wahrscheinlich als Nächstes kommt. Ob eine Aussage stimmt, prüft es dabei nicht. Liegen die richtigen Textstellen direkt vor ihm, sinkt die Erfindungsquote deutlich.

Dazu kommt ein sehr praktischer Vorteil für Unternehmen. Ein Konzern kann nicht sein gesamtes internes Wissen in ein Modell hineintrainieren. Ein neues Training kostet Millionen und dauert Wochen. Eine Dokumentensammlung dagegen lässt sich jeden Tag aktualisieren. Wird ein Vertrag geändert, kennt das System die neue Fassung sofort.

Ein dritter Punkt ist die Nachvollziehbarkeit. Weil das System weiß, aus welchen Dokumenten es geschöpft hat, kann es Quellen angeben. Ein Nutzer kann nachschlagen, ob die Antwort wirklich in der genannten Datei steht. Bei einem reinen Sprachmodell ohne Abruf ist das unmöglich, denn dort ist das Wissen in Milliarden von Zahlenwerten verschmiert.

Der Weg von der Frage zur Fundstelle

Zuerst werden alle Dokumente in kleine Stücke von wenigen Absätzen zerlegt. Jedes Stück wird in eine lange Zahlenreihe umgerechnet, einen sogenannten Vektor. Diese Zahlenreihe beschreibt die Bedeutung des Textes. Zwei Texte mit ähnlichem Inhalt bekommen ähnliche Zahlenreihen, auch wenn sie völlig andere Wörter benutzen. Alle Vektoren landen in einer speziellen Datenbank.

Stellt jemand eine Frage, wird auch diese Frage in einen Vektor umgerechnet. Die Datenbank sucht dann die Textstücke mit den ähnlichsten Zahlenreihen heraus, typischerweise drei bis zehn Stück. Anders als bei einer klassischen Stichwortsuche zählt die Bedeutung, nicht die genaue Schreibweise. Wer nach 'Urlaubstage' fragt, findet auch einen Absatz über 'Erholungsanspruch'.

Im letzten Schritt baut das System eine erweiterte Anfrage. Sie enthält die gefundenen Textstücke, die ursprüngliche Frage und eine Anweisung wie: Antworte nur auf Basis dieser Auszüge. Erst dieses Paket geht an das Sprachmodell. Die Qualität hängt fast vollständig vom Suchschritt ab. Findet die Datenbank die falschen Stellen, hilft auch das beste Sprachmodell nicht mehr.

Vom Firmen-Chatbot bis zur Websuche

Die meisten Chatbots auf Unternehmensseiten arbeiten heute nach diesem Prinzip. Der Handbuch-Assistent eines Autoherstellers durchsucht das Bedienungshandbuch, der Support-Bot einer Bank ihre Formulare. Auch Suchmaschinen mit KI-Antworten nutzen Abrufverstärkung: Sie holen Webseiten und fassen sie zusammen. Die Quellenlinks unter solchen Antworten sind ein direktes Erkennungszeichen.

In Nachrichten aus der Tech-Branche taucht der Begriff meist unter der englischen Abkürzung RAG auf, für Retrieval Augmented Generation. Rund um dieses Verfahren ist eine eigene Industrie entstanden, etwa Anbieter von Vektordatenbanken wie Pinecone oder Weaviate.

Ein verbreiteter Irrtum ist, dass Abrufverstärkung das Modell klüger macht. Das tut sie nicht. Sie liefert nur bessere Zutaten. Ein schwaches Modell zieht aus guten Textstellen weiterhin schwache Schlüsse. Abzugrenzen ist das Verfahren außerdem vom Feinschliff, dem Fine-Tuning: Dort verändert man das Modell selbst, hier lässt man es unangetastet und ergänzt nur die Frage.