Fallvignette

Eine Fallvignette ist eine kurze, erfundene Beschreibung einer Situation. Sie ist meist nur wenige Sätze bis eine halbe Seite lang. Ein Beispiel: „Eine 54-jährige Patientin klagt seit drei Tagen über Brustschmerzen beim Treppensteigen.“ Danach folgt eine Frage: Was tun Sie? Wer soll das Medikament bekommen? Ist diese Person schuldig? Man legt denselben Text vielen Personen vor und vergleicht, wie sie antworten. Genau dieses Verfahren wird heute auch benutzt, um Computerprogramme zu prüfen, die menschenähnliche Texte erzeugen.

Warum Forscher ausgedachte Fälle echten vorziehen

Wer das Urteilsvermögen von Menschen oder Maschinen untersuchen will, hat ein Problem: Echte Fälle sind nie gleich. Zwei Patienten unterscheiden sich in hundert Details. Wenn zwei Ärzte unterschiedlich entscheiden, weiß man nicht, ob das an den Ärzten oder an den Fällen lag. Die Fallvignette löst das. Alle bekommen exakt denselben Text, deshalb sind Unterschiede in den Antworten auf die Antwortenden zurückzuführen.

Der zweite Vorteil ist Kontrolle über einzelne Details. Forscher schreiben zwei Versionen einer Vignette, die sich in genau einem Wort unterscheiden. In der einen heißt der Patient Michael, in der anderen Aischa. Alles andere bleibt identisch. Wenn die Empfehlungen dann auseinandergehen, hat man einen Hinweis auf eine Verzerrung gefunden. Diese Methode heißt Paired-Vignette-Design und ist eines der wichtigsten Werkzeuge der Fairness-Forschung bei KI.

Dazu kommt ein praktischer Punkt: Mit echten Patientendaten oder echten Gerichtsakten zu experimentieren, ist rechtlich heikel und oft verboten. Erfundene Fälle enthalten keine personenbezogenen Daten. Man darf sie veröffentlichen, weitergeben und andere Forschungsgruppen können den Test exakt wiederholen.

Vom Text zur auswertbaren Zahl

Eine brauchbare Vignette wird nicht einfach hingeschrieben. Fachleute legen zuerst fest, welche Merkmale variiert werden sollen, etwa Alter, Geschlecht oder Schwere der Symptome. Daraus entsteht ein Baukasten: Aus fünf Merkmalen mit je zwei Ausprägungen lassen sich 32 Varianten desselben Grundfalls bauen. Anschließend prüfen unabhängige Fachleute, ob jede Variante medizinisch oder juristisch plausibel klingt.

Dann folgt der Durchlauf. Bei einem Sprachmodell, also einem Programm, das Texte fortsetzt, schickt man jede Variante hundert- oder tausendfach als Anfrage. Das ist nötig, weil solche Modelle nicht immer dieselbe Antwort geben. Erst aus vielen Durchläufen ergibt sich ein stabiler Durchschnitt. Bei Menschen wären so viele Wiederholungen unbezahlbar, bei Maschinen kosten sie wenige Cent pro Anfrage.

Zum Schluss werden die freien Textantworten in Kategorien übersetzt, etwa „Notaufnahme empfohlen“ oder „abwartendes Vorgehen“. Statistische Verfahren zeigen dann, ob sich die Gruppen wirklich unterscheiden oder ob die Abweichung Zufall sein könnte. Ein bekannter Irrtum ist, aus einer einzigen auffälligen Antwort auf ein Muster zu schließen. Ohne viele Wiederholungen ist ein einzelner Ausreißer bedeutungslos.

Fallvignetten in Studien und Schlagzeilen

Wenn eine Nachricht meldet, ein KI-System behandle Patientinnen anders als Patienten, steckt dahinter fast immer eine Vignettenstudie. Bekannte Untersuchungen an großen Chatbots haben so gezeigt, dass Empfehlungen sich je nach angenommener Herkunft oder Versicherungsstatus der beschriebenen Person verschieben können. Auch Bewerbungsvignetten sind verbreitet: identischer Lebenslauf, unterschiedlicher Name.

Außerhalb der KI ist die Methode alt und in der Medizin, Psychologie, Sozialarbeit und Rechtswissenschaft seit Jahrzehnten Standard. Prüfungsaufgaben im Medizinstudium sind praktisch immer Fallvignetten. Neu ist nur, dass die geprüfte Instanz heute oft eine Software ist.

Wichtig ist die Grenze der Methode. Eine Vignette ist ein Text, keine Wirklichkeit. Wie jemand auf einen beschriebenen Fall reagiert, muss nicht dem entsprechen, was er im echten Krankenhaus tut. Fachleute nennen das die Lücke zwischen geäußerter und tatsächlicher Entscheidung. Vignettenstudien liefern deshalb starke Hinweise auf Probleme, aber keinen Beweis für reales Verhalten.