A/B-Test
Ein A/B-Test ist ein Vergleich, bei dem zwei Versionen einer Sache gleichzeitig an zufällig aufgeteilte Nutzergruppen ausgeliefert werden. So lässt sich messen, welche Version das gewünschte Verhalten häufiger auslöst, statt es nur zu vermuten.
Eine Firma will wissen, ob ein grüner oder ein blauer Kaufen-Knopf besser funktioniert. Statt zu diskutieren, teilt sie ihre Besucher zufällig in zwei Gruppen. Gruppe A sieht den grünen Knopf, Gruppe B den blauen. Danach vergleicht man, in welcher Gruppe mehr Leute tatsächlich gekauft haben. Genau dieses Verfahren nennt man A/B-Test. Es ist im Kern dasselbe Prinzip wie ein Medikamentenversuch: zwei Gruppen, ein einziger Unterschied, ein gemessenes Ergebnis.
Warum Meinungen schlechte Ratgeber sind
Menschen schätzen sehr schlecht ein, was andere Menschen anklicken. Erfahrene Designer liegen bei solchen Prognosen regelmäßig daneben. Große Internetfirmen berichten, dass nur ein kleiner Teil ihrer Ideen die Zahlen wirklich verbessert. Viele Änderungen wirken gar nicht, manche schaden sogar. Ohne Messung würde niemand den Unterschied merken.
Der A/B-Test ersetzt die Rangordnung nach Hierarchie durch eine Rangordnung nach Daten. Nicht die Chefin entscheidet, welcher Text auf dem Knopf steht, sondern das Verhalten der Nutzer. Das macht Produktentwicklung langsamer, aber verlässlicher. Firmen wie Amazon, Netflix oder Booking führen deshalb tausende solcher Tests pro Jahr durch.
Für KI-Produkte ist das besonders wichtig. Ob eine neue Modellversion wirklich hilfreicher antwortet, lässt sich im Labor nur begrenzt prüfen. Erst der Vergleich an echten Nutzern zeigt, ob die Leute die Antworten häufiger weiterverwenden oder das Gespräch früher abbrechen.
Zufall, Zielgröße und der Umgang mit Schwankungen
Entscheidend ist die zufällige Aufteilung. Nur wenn beide Gruppen im Durchschnitt gleich zusammengesetzt sind, kann man den Unterschied im Ergebnis der Änderung zuschreiben. Würde man Gruppe A morgens und Gruppe B abends bilden, wäre der Test wertlos. Dann hätte man Tageszeiten verglichen, nicht Knopffarben.
Vorher legt man eine Zielgröße fest, also die Zahl, an der man Erfolg misst. Das kann die Kaufquote sein, die Verweildauer oder die Zahl der Abbrüche. Ohne feste Zielgröße sucht man hinterher so lange, bis irgendeine Zahl gut aussieht. Genau dieser Fehler ist einer der häufigsten in der Praxis.
Außerdem schwanken Messwerte immer ein wenig, auch ohne echten Unterschied. Deshalb rechnet man mit Statistik aus, wie wahrscheinlich das gemessene Ergebnis reiner Zufall ist. Kleine Gruppen liefern unklare Ergebnisse. Um einen Unterschied von einem Prozent sauber zu erkennen, braucht man oft zehntausende Nutzer pro Gruppe. Wer den Test vorzeitig abbricht, weil eine Variante gerade vorne liegt, täuscht sich häufig selbst.
Von der App-Oberfläche bis zum Chatbot-Modell
Fast jede große App testet dauernd an ihren Nutzern. Unterschiedliche Startseiten, andere Reihenfolgen im Feed, andere Preise für dieselbe Reise: Vieles davon läuft als A/B-Test. Man merkt es meist nicht, weil man nur seine eigene Variante sieht. Wenn ein Freund eine App anders aussehend beschreibt, steckt manchmal genau das dahinter.
In der KI-Branche taucht der Begriff in zwei Zusammenhängen auf. Erstens beim Ausrollen neuer Modellversionen: ein kleiner Teil der Anfragen geht an das neue Modell, der Rest an das alte. Zweitens bei Vergleichsplattformen, auf denen Nutzer zwei anonyme Antworten sehen und die bessere wählen. Aus solchen Duellen entstehen die bekannten Ranglisten von Sprachmodellen.
Der A/B-Test hat aber Grenzen. Er zeigt, welche Version besser abschneidet, nicht warum. Und er messt meist nur kurzfristige Reaktionen. Ein reißerischer Titel kann die Klickzahlen heute erhöhen und das Vertrauen über Monate senken. Deshalb kombinieren Firmen die Tests mit Befragungen und Langzeitkennzahlen.