Experiment-Design

Experiment-Design bezeichnet die Planung eines Tests, bevor man ihn durchführt. Man legt fest, was man genau wissen will, was man verändert und was man dabei misst. Ein Beispiel: Eine Firma will wissen, ob ein neuer Empfehlungsdienst die Nutzer länger auf der Seite hält. Dafür sieht eine zufällig gewählte Hälfte der Besucher die neue Version, die andere Hälfte die alte. Am Ende vergleicht man beide Gruppen. Ohne diese vorherige Planung sammelt man zwar Zahlen, kann aber nicht sagen, woran ein Unterschied liegt.

Warum schlechte Tests teure Fehlentscheidungen erzeugen

Zahlen wirken objektiv, sind es aber nur bei sauberer Planung. Ein häufiger Fehler ist, zwei Gruppen zu vergleichen, die sich schon vorher unterschieden. Wenn die neue Version zufällig nur Nutzern aus einem Land gezeigt wird, misst man am Ende das Land und nicht die Software. Solche verzerrten Ergebnisse heißen im Fachjargon Confounding, also eine Vermengung von Ursachen.

In der KI-Branche entscheidet Experiment-Design darüber, welchen Aussagen man glauben darf. Fast jede Meldung über ein besseres Modell beruht auf einem Vergleichstest. Wurde dabei gegen eine schwache alte Version verglichen, sieht der Fortschritt größer aus, als er ist. Wurde nur ein einziger Durchlauf gemacht, kann der Vorsprung reiner Zufall sein. Fachleute achten deshalb zuerst auf den Aufbau des Tests, erst danach auf das Ergebnis.

Auch wirtschaftlich hängt viel daran. Große Plattformen führen jedes Jahr tausende solcher Tests durch, bevor sie eine Änderung an alle Nutzer ausliefern. Ein schlecht geplanter Test kostet nicht nur die Testzeit. Er kann eine Änderung durchwinken, die dem Unternehmen über Monate hinweg Nutzer oder Umsatz kostet.

Kontrollgruppe, Zufall und die Frage nach der Menge

Der Kern fast jedes guten Designs ist der Vergleich mit einer Kontrollgruppe. Diese Gruppe bekommt die alte Version oder gar keine Behandlung. Nur so weiß man, was ohne die Änderung passiert wäre. Die Zuteilung zu den Gruppen erfolgt zufällig, meist per Computer. Der Zufall sorgt dafür, dass sich Unterschiede zwischen den Teilnehmern gleichmäßig auf beide Seiten verteilen.

Ebenso wichtig ist die Gruppengröße. Bei zehn Nutzern pro Gruppe sagt ein Unterschied fast nichts aus, weil Schwankungen normal sind. Statistiker rechnen deshalb vorher aus, wie viele Teilnehmer nötig sind, um einen Effekt einer bestimmten Größe sicher zu erkennen. Diese Rechnung heißt Power-Analyse. Je kleiner der erwartete Effekt, desto mehr Teilnehmer braucht man.

Ein dritter Baustein ist die Festlegung der Messgröße vor dem Start. Wer erst hinterher entscheidet, worauf er schaut, findet fast immer irgendeinen positiven Wert. Dieser Fehler ist so verbreitet, dass er einen Namen hat: p-Hacking. Dagegen hilft eine Vorab-Registrierung, bei der man den Plan schriftlich festhält, bevor Daten fließen.

A/B-Tests, Medikamentenstudien und Modell-Ranglisten

Am häufigsten begegnet dir Experiment-Design als A/B-Test im Netz. Streamingdienste, Onlineshops und soziale Netzwerke testen so ständig neue Knöpfe, Farben und Empfehlungen. Du bist mit hoher Wahrscheinlichkeit schon oft Teil einer solchen Testgruppe gewesen, ohne es zu bemerken. Manche Anbieter erweitern das zu multivariaten Tests, bei denen mehrere Änderungen gleichzeitig geprüft werden.

In der Medizin heißt dasselbe Prinzip randomisierte kontrollierte Studie und gilt als Goldstandard für Zulassungen. Dort kommt oft noch die Verblindung dazu: Weder Patient noch Arzt wissen, wer das echte Mittel bekommt. Damit verhindert man, dass Erwartungen das Ergebnis färben.

In KI-Nachrichten taucht das Thema meist beim Vergleich von Modellen auf. Ranglisten wie die Chatbot Arena lassen Nutzer zwei anonyme Antworten bewerten und leiten daraus eine Rangfolge ab. Ein verbreiteter Irrtum ist, dass ein höherer Punktwert automatisch das bessere Modell bedeutet. Entscheidend bleibt, ob der Test fair aufgebaut war und ob der Abstand groß genug ist, um nicht auf Zufall zu beruhen.