Blindtest

Ein Blindtest ist ein Vergleich, bei dem wichtige Informationen absichtlich verborgen bleiben. Wer urteilt, weiß nicht, welches der verglichenen Produkte er gerade vor sich hat. Bekannt ist das aus dem Supermarkt: zwei Colasorten in identischen Bechern, ohne Etikett. Der Grund für diesen Aufwand ist einfach. Menschen urteilen nicht nur über die Sache selbst, sondern auch über den Namen, den Preis und den Ruf dahinter. Nimmt man diese Hinweise weg, bleibt nur das übrig, was man eigentlich messen wollte.

Warum Markennamen das Urteil verzerren

Erwartungen wirken erstaunlich stark. Wer weiß, dass er ein teures Produkt probiert, findet es messbar besser — auch wenn in beiden Gläsern dasselbe ist. Fachleute nennen solche Verzerrungen Bias, also eine systematische Schieflage im Urteil. Systematisch heißt: der Fehler geht immer in dieselbe Richtung und verschwindet nicht, wenn man einfach mehr Leute befragt.

Genau darum ist der Blindtest in der KI-Welt so wichtig geworden. Große Anbieter wie OpenAI, Google oder Anthropic haben einen Ruf, und dieser Ruf färbt jede Bewertung. Fragt man Nutzer offen, welches Modell besser antwortet, gewinnt oft der bekanntere Name. Verdeckt man die Herkunft der Antworten, verschieben sich die Ergebnisse teils deutlich.

Für Anleger und Journalisten ist das mehr als eine Feinheit. Marktanteile und Milliardenbewertungen hängen daran, welches Modell als das beste gilt. Ein offener Vergleich misst dann eher die Werbewirkung als die Technik. Blindtests sind das nüchternere Werkzeug — sie sind schwerer zu schönen.

Ein Becher, zwei Antworten, kein Etikett

Der Aufbau ist immer gleich. Man stellt dieselbe Aufgabe an zwei oder mehr Kandidaten. Die Ergebnisse werden anonymisiert, also von allen Hinweisen auf ihre Herkunft befreit. Erst danach urteilt die Testperson, meist mit einer einfachen Frage: Welches Ergebnis ist besser?

Bei Sprachmodellen läuft das oft in einer sogenannten Arena. Der Nutzer tippt eine Frage ein und bekommt zwei Antworten nebeneinander, beschriftet nur mit A und B. Er wählt die bessere aus, und erst danach werden die Namen der beiden Modelle aufgedeckt. Aus vielen tausend solcher Duelle entsteht eine Rangliste, ähnlich wie die Elo-Wertung im Schach. Ein einzelnes Urteil ist wenig wert, die Masse ergibt ein stabiles Bild.

Eine Stufe strenger ist der Doppelblindtest. Dort weiß auch die Person, die den Test durchführt und auswertet, nicht, welche Variante welche ist. Das verhindert, dass sie unbewusst Hinweise gibt oder Zweifelsfälle in eine Richtung schiebt. In der Medizin ist dieses Verfahren bei Medikamenten Standard. Ein häufiger Irrtum ist, jeder verdeckte Vergleich sei schon doppelblind — die meisten KI-Arenen sind es nicht.

Von der Arena-Rangliste bis zum Pressetermin

Am sichtbarsten sind Blindtests heute in öffentlichen Modell-Ranglisten im Internet. Dort treten Chatbots anonym gegeneinander an, und die Platzierung wird in News-Artikeln als Beleg zitiert. Manche Anbieter schicken neue Modelle sogar unter Fantasienamen in solche Arenen, um Reaktionen zu sammeln, bevor sie offiziell etwas ankündigen.

Auch außerhalb der KI ist das Prinzip überall. Stiftung Warentest verkostet Lebensmittel ohne Verpackung. Kopfhörer und Lautsprecher werden hinter Vorhängen verglichen. Bei Medikamenten entscheidet ein Blindtest darüber, ob ein Mittel überhaupt zugelassen wird.

Trotzdem lohnt sich Skepsis. Wer den Test bezahlt, wählt die Aufgaben aus, und die Auswahl entscheidet oft schon über den Sieger. Blind bedeutet also nicht automatisch neutral. Es lohnt sich, bei jeder zitierten Rangliste zu fragen: Wer hat getestet, mit welchen Aufgaben, und wie viele Urteile stehen dahinter?