Spot-Checking

Ein Computerprogramm kann an einem einzigen Tag Millionen von Ergebnissen ausspucken. Kein Mensch kann diese Menge nachprüfen. Also nimmt man eine kleine, zufällig gezogene Auswahl heraus und schaut sich nur diese wirklich genau an. Genau das nennt man Spot-Checking, auf Deutsch etwa Stichprobenprüfung. Findet man in der Auswahl kaum Fehler, geht man davon aus, dass auch der Rest weitgehend in Ordnung ist. Das Prinzip kennt man aus dem Alltag: Der Zoll öffnet auch nicht jeden Koffer, sondern zieht einzelne Reisende heraus.

Warum niemand alle KI-Antworten liest

Systeme mit künstlicher Intelligenz produzieren Text, Bilder oder Entscheidungen in einer Menge, die jede vollständige Kontrolle unbezahlbar macht. Ein Chatbot eines großen Anbieters beantwortet täglich hunderte Millionen Anfragen. Selbst wenn eine Prüferin nur zehn Sekunden pro Antwort bräuchte, wären dafür zehntausende Vollzeitstellen nötig. Spot-Checking ist deshalb oft die einzige praktikable Form der Qualitätskontrolle.

Dazu kommt ein zweites Problem: Viele Fehler von KI-Systemen fallen automatisch gar nicht auf. Wenn ein Modell eine Quelle erfindet, die es nicht gibt, sieht die Antwort trotzdem sauber und flüssig aus. Ein Computer erkennt daran nichts Verdächtiges. Erst wenn ein Mensch die Quelle nachschlägt, fliegt der Fehler auf. Genau solche Fälle findet man fast nur durch händische Stichproben.

Für Unternehmen hat das auch eine rechtliche Seite. Wer ein KI-System einsetzt, muss zeigen können, dass er dessen Qualität überwacht. Dokumentierte Stichproben sind ein üblicher Nachweis dafür. Sie ersetzen keine gründliche Prüfung, aber sie belegen, dass jemand hinschaut.

Was eine gute Stichprobe ausmacht

Entscheidend ist, wie die Beispiele ausgewählt werden. Nimmt man einfach die ersten hundert Fälle des Tages, ist die Auswahl verzerrt. Vielleicht schreiben morgens ganz andere Nutzer als abends. Deshalb zieht man die Fälle möglichst zufällig, damit jedes Ergebnis dieselbe Chance hat, geprüft zu werden. Nur dann darf man vom Ausschnitt auf das Ganze schließen.

Die zweite Frage ist die Größe. Prüft man hundert Fälle und findet drei Fehler, liegt die tatsächliche Fehlerquote wahrscheinlich irgendwo zwischen einem und acht Prozent. Diese Spanne heißt Unsicherheitsbereich und wird kleiner, je mehr man prüft. Bei tausend Fällen wird die Schätzung deutlich schärfer. Wer aus zehn geprüften Beispielen weitreichende Schlüsse zieht, überschätzt seine Zahlen also gewaltig.

Häufig kombiniert man Zufall mit gezielter Auswahl. Neben der zufälligen Stichprobe prüft man zusätzlich besonders heikle Fälle, etwa medizinische Fragen. Diese beiden Zahlen darf man dann aber nicht vermischen. Die gezielte Auswahl zeigt, wie schlimm es im schlimmsten Fall wird. Die Zufallsauswahl zeigt, wie es im Normalbetrieb aussieht.

Von der Fabrikhalle bis zum Modellvergleich

Das Verfahren stammt ursprünglich aus der Industrie. In Fabriken werden seit Jahrzehnten einzelne Teile aus der Produktion gezogen und vermessen, statt jede Schraube zu kontrollieren. Auch Lebensmittelbehörden und Finanzprüfer arbeiten so. Die KI-Branche hat die Idee schlicht übernommen.

In der Praxis begegnet man Spot-Checking heute überall dort, wo Modelle Inhalte prüfen. Soziale Netzwerke lassen Software Beiträge filtern und geben nur einen Bruchteil davon an menschliche Prüfteams weiter. Firmen, die Kundenanfragen automatisch beantworten lassen, lesen täglich einige Dialoge selbst nach. Und wenn eine Firma ein neues Sprachmodell einführt, vergleichen Mitarbeiter Antworten des alten und des neuen Systems an einer Handvoll typischer Aufgaben.

Ein verbreiteter Irrtum ist, Spot-Checking sei ein Beweis für Fehlerfreiheit. Das ist es nicht. Seltene, aber schwere Fehler tauchen in kleinen Stichproben fast nie auf. Ein Fehler, der bei einem von zehntausend Fällen passiert, bleibt bei hundert geprüften Beispielen mit hoher Wahrscheinlichkeit unentdeckt. Stichproben zeigen Tendenzen, keine Garantien.