Blindtest (Modellevaluation)

Wer beurteilen will, welches von zwei Computerprogrammen die bessere Antwort gibt, hat ein Problem: Menschen sind voreingenommen. Kennt man den Hersteller, hält man dessen Antwort schnell für die klügere. Ein Blindtest schaltet diesen Einfluss aus. Die Antworten werden anonym vorgelegt, ohne Namen und ohne Reihenfolge, die etwas verrät. Erst nachdem die Bewertung abgegeben ist, wird aufgelöst, welche Antwort von welchem Programm stammte. Das Verfahren stammt aus der Medizin und aus der Lebensmittelprüfung und wird heute auch bei künstlicher Intelligenz eingesetzt, also bei Software, die aus Beispielen gelernt hat.

Warum Namen die Urteile verzerren

In der Werbung für KI-Produkte wird viel mit Bestenlisten argumentiert. Diese Listen entstehen oft aus Urteilen von Menschen. Wenn die Tester wissen, dass eine Antwort vom bekannten Marktführer kommt, bewerten sie sie systematisch besser. Dieser Effekt ist messbar und hat nichts mit der Qualität der Antwort zu tun. Er heißt Erwartungseffekt.

Für Firmen, die ein KI-System einkaufen wollen, ist das teuer. Ein Unternehmen zahlt vielleicht monatlich hohe Summen für Zugriff auf ein bekanntes System, obwohl ein günstigeres für den eigenen Zweck genauso gut wäre. Ein Blindtest mit eigenen, realistischen Aufgaben deckt das auf. Genau deshalb bauen viele Unternehmen inzwischen interne Blindtests, bevor sie sich entscheiden.

Umgekehrt schützt das Verfahren auch die Hersteller selbst. Ein Entwicklerteam, das sein eigenes Modell prüft, will natürlich gute Ergebnisse sehen. Ohne Anonymisierung fließt dieser Wunsch unbemerkt in die Bewertung ein. Ein Blindtest macht die Ergebnisse innerhalb der Firma glaubwürdiger.

Der Aufbau eines anonymen Vergleichs

Der einfachste Aufbau ist der Paarvergleich. Man stellt beiden Systemen dieselbe Frage. Die zwei Antworten erscheinen nebeneinander, links und rechts, ohne Beschriftung. Die Testperson wählt die bessere aus oder erklärt es für unentschieden. Wichtig ist, dass die Seite zufällig vergeben wird, weil viele Menschen sonst reflexartig links wählen.

Ein einzelner Vergleich sagt fast nichts aus. Deshalb wiederholt man das Verfahren tausendfach mit unterschiedlichen Fragen und Bewertern. Aus den vielen Einzelurteilen berechnet man eine Punktzahl. Viele Vergleichsplattformen nutzen dafür ein Verfahren aus dem Schach: Wer häufig gegen starke Gegner gewinnt, steigt in der Wertung. Dieses System heißt Elo-Wertung.

Ein Blindtest ist nicht dasselbe wie ein Benchmark. Ein Benchmark ist eine feste Sammlung von Aufgaben mit bekannten richtigen Antworten, etwa Matheaufgaben. Dort zählt man einfach die Treffer, ganz ohne menschliches Urteil. Der Blindtest wird gebraucht, wenn es keine eindeutig richtige Lösung gibt: bei Übersetzungen, Zusammenfassungen oder Erklärtexten. Ein typischer Irrtum ist, beides gleichzusetzen.

Von der Chatbot-Arena bis zur Kaufentscheidung

Am bekanntesten sind öffentliche Vergleichsarenen im Internet. Dort tippt man eine Frage ein und bekommt zwei Antworten ohne Herkunftsangabe. Man stimmt ab, dann werden die Namen gezeigt. Millionen solcher Stimmen ergeben eine Rangliste, die in Tech-News häufig zitiert wird. Wenn eine Meldung sagt, ein neues Modell sei auf Platz eins, steckt oft genau so ein Verfahren dahinter.

Auch außerhalb der KI-Welt ist das Prinzip vertraut. Beim Weinvergleich verdeckt man die Flaschen, bei Medikamentenstudien wissen die Patienten nicht, ob sie den echten Wirkstoff bekommen. Die Idee ist immer dieselbe: Das Vorwissen der Beteiligten soll das Ergebnis nicht färben.

Man sollte solche Ranglisten trotzdem mit Vorsicht lesen. Nutzer belohnen häufig Antworten, die länger, höflicher und selbstsicherer klingen, auch wenn Fehler darin stecken. Ein Blindtest misst also die wahrgenommene Qualität, nicht automatisch die Richtigkeit. Für Entscheidungen im Beruf kombiniert man ihn deshalb mit Faktenprüfungen und mit eigenen Aufgaben aus dem Alltag.