Halluzinationsrate

Programme wie ChatGPT setzen Antworten Wort für Wort zusammen, weil sie aus riesigen Textmengen gelernt haben, was typischerweise zusammenpasst. Dabei entstehen manchmal Sätze, die flüssig und selbstsicher klingen, sachlich aber frei erfunden sind. Ein erfundenes Buchzitat, ein falsches Geburtsdatum, eine Gerichtsentscheidung, die es nie gab: Solche Fehler nennt man in der Branche Halluzinationen. Die Halluzinationsrate misst, in welchem Anteil der Antworten das passiert. Wenn ein System bei 100 Testfragen sieben Mal etwas erfindet, liegt die Rate bei sieben Prozent. Wichtig ist: Die Zahl ist kein Naturgesetz, sondern hängt stark davon ab, welche Fragen man stellt und wie man Fehler zählt.

Warum erfundene Fakten teuer werden

Bei einem Gedicht oder einer Ideensammlung ist eine Halluzination harmlos. Bei einer Medikamentendosis, einer Rechtsauskunft oder einer Bilanzzahl ist sie ein echtes Problem. Genau in diesen Bereichen wollen Unternehmen KI einsetzen, weil dort viel Arbeitszeit steckt. Die Halluzinationsrate entscheidet deshalb mit, ob ein Einsatz überhaupt in Frage kommt.

Besonders unangenehm ist der Tonfall solcher Fehler. Eine KI schreibt eine erfundene Quelle im selben ruhigen, sachlichen Stil wie eine korrekte. Es gibt also kein Warnsignal, an dem Nutzer den Fehler erkennen könnten. Deshalb muss jemand nachprüfen — und je höher die Rate, desto mehr Prüfaufwand fällt an. Ab einem bestimmten Punkt frisst das Nachprüfen die eingesparte Zeit wieder auf.

Ein verbreiteter Irrtum ist, dass ein größeres Modell automatisch weniger halluziniert. Größere Systeme wissen mehr, formulieren aber auch überzeugender falsch. Die Rate sinkt vor allem dann, wenn ein System lernt, Unsicherheit zuzugeben oder in echten Quellen nachzusehen.

Wie man Erfindungen zählt

Zum Messen braucht man einen Fragenkatalog mit bekannten richtigen Antworten. Solche Testsammlungen heißen Benchmarks. Das System bekommt alle Fragen gestellt, die Antworten werden mit der Wahrheit verglichen und die falschen Behauptungen gezählt. Das Ergebnis ist ein Prozentwert.

Der Haken liegt im Detail. Eine Antwort kann zur Hälfte stimmen und einen falschen Nebensatz enthalten. Zählt das als Fehler oder als halber Fehler? Manche Tests bewerten jede einzelne Tatsachenbehauptung, andere die Antwort als Ganzes. Deshalb sind Zahlen aus verschiedenen Tests kaum vergleichbar, und Herstellerangaben stammen oft aus dem Test, in dem das eigene Modell am besten aussieht.

Man muss die Halluzinationsrate außerdem von der Fehlerrate unterscheiden. Eine falsche Rechnung ist ein Fehler, aber keine Halluzination. Von Halluzination spricht man, wenn Inhalte erfunden werden, für die es keine Grundlage gibt. Die wichtigste Gegenmaßnahme heißt RAG: Das Modell durchsucht vor dem Antworten eine feste Datenbank und stützt sich auf die gefundenen Textstellen. Das senkt die Rate deutlich, weil das System weniger aus dem Gedächtnis raten muss.

Die Zahl in Produktversprechen und Schlagzeilen

Bei jeder Vorstellung eines neuen KI-Modells gehört die Halluzinationsrate zu den genannten Kennzahlen, meist neben Geschwindigkeit und Preis. Formulierungen wie « 40 Prozent weniger Halluzinationen als die Vorgängerversion » sind Standard. Für Anleger ist die Zahl relevant, weil sie anzeigt, ob sich KI in regulierten Branchen wie Banken oder Versicherungen verkaufen lässt.

Im Alltag begegnet man dem Thema an den kleinen Hinweisen unter Chatfenstern, die zum Überprüfen der Antworten auffordern. Auch die Quellenangaben, die viele KI-Suchdienste anzeigen, gehören dazu. Es sind Eingeständnisse, dass die Rate nicht bei null liegt. Wer eine KI für Hausaufgaben oder Referate nutzt, sollte Namen, Jahreszahlen und Zitate deshalb immer gegenprüfen.