Präferenztest

Bei einem Präferenztest bekommt eine Testperson zwei Ergebnisse vorgelegt und wählt das bessere aus. Genau das kennt man von Blindtests im Supermarkt: zwei Becher Cola, ohne Etikett, welcher schmeckt besser? In der Entwicklung von Computerprogrammen, die Texte schreiben oder Bilder erzeugen, läuft es genauso. Dieselbe Frage wird zweimal beantwortet, einmal von Version A und einmal von Version B. Die Person weiß nicht, welche Antwort von welcher Version stammt, und entscheidet allein nach dem Eindruck. Man zählt am Ende nicht Punkte, sondern Siege: Wie oft wurde A gewählt, wie oft B?

Warum Geschmack sich nicht wie Mathematik prüfen lässt

Bei manchen Aufgaben ist die Bewertung einfach. Eine Rechenaufgabe hat ein richtiges Ergebnis, eine Übersetzung eines Fachbegriffs meist auch. Man kann automatisch abzählen, wie viele Aufgaben ein System löst. Bei einer Zusammenfassung, einem Bewerbungsschreiben oder einem generierten Bild gibt es diese eine richtige Lösung nicht.

Trotzdem merken Menschen sofort, ob ein Text hilfreich, höflich und verständlich ist. Diese Urteilsfähigkeit macht der Präferenztest nutzbar. Statt zu fragen, wie gut eine Antwort auf einer Skala von eins bis zehn ist, fragt man nur: welche der beiden ist besser? Diese Frage können Menschen viel zuverlässiger beantworten. Noten schwanken je nach Laune und Person stark, eine Rangfolge zwischen zwei Dingen ist stabiler.

Für Unternehmen ist das auch eine Geschäftsfrage. Wenn eine neue Modellversion Millionen kostet, will man vor dem Start wissen, ob Nutzer sie tatsächlich bevorzugen. Präferenztests liefern diese Antwort, bevor das Produkt öffentlich scheitert.

Vom Klick der Tester zum trainierten Verhalten

Der Ablauf ist immer gleich. Man sammelt viele Fragen, lässt beide Versionen antworten und mischt die Reihenfolge zufällig. Dann bewerten mehrere Personen unabhängig voneinander. Erst wenn hunderte oder tausende Vergleiche vorliegen, ist das Ergebnis aussagekräftig. Bei fünfzig Vergleichen kann ein Vorsprung reiner Zufall sein.

Aus den Siegen berechnet man oft eine Zahl, die dem Prinzip der Schachrangliste folgt: Wer häufig gegen starke Gegner gewinnt, steigt auf. So entsteht eine Tabelle vieler Systeme, obwohl niemals alle gegeneinander getestet wurden. Bekannte öffentliche Ranglisten für Sprachmodelle arbeiten genau so.

Die gesammelten Urteile sind außerdem selbst wertvolles Trainingsmaterial. Man bringt dem System bei, Antworten zu bevorzugen, die Menschen ausgewählt haben. Dieses Verfahren steckt hinter der Höflichkeit und Klarheit heutiger Chatbots. Es hat aber eine Schwäche: Tester wählen gern die längere, selbstsichere Antwort, auch wenn sie inhaltlich falsch ist. Ein Präferenztest misst also die Zustimmung der Leser, nicht automatisch die Wahrheit.

Zwei Antworten nebeneinander im Chatfenster

Wer Chatbots benutzt, hat wahrscheinlich schon mitgemacht. Manche Dienste zeigen gelegentlich zwei Antwortvarianten und fragen, welche man besser findet. Andere bieten Daumen hoch und Daumen runter an. Beides sind Formen derselben Datensammlung, mit der die Anbieter ihre Systeme nachjustieren.

In Pressemitteilungen tauchen die Ergebnisse als Prozentzahlen auf. Sätze wie „in 63 Prozent der Fälle bevorzugten Tester unser neues Modell“ stammen aus Präferenztests. Solche Angaben lohnen ein kritisches Auge: Wer hat getestet, wie viele Vergleiche gab es, und war das Vergleichsmodell aktuell? Ohne diese Angaben ist die Zahl kaum zu bewerten.

Außerhalb der KI ist die Methode alt. Lebensmittelfirmen, Verlage und Webseitenbetreiber testen Rezepte, Titelbilder und Schaltflächen auf dieselbe Weise. Der verwandte Begriff A/B-Test bezeichnet dabei meist echte Nutzer, die unbemerkt verschiedene Versionen sehen. Beim Präferenztest dagegen sieht dieselbe Person beide Varianten und entscheidet bewusst.