Psychometrischer Test

Manche Dinge lassen sich direkt messen: Körpergröße mit einem Maßband, Gewicht mit einer Waage. Eigenschaften wie Konzentrationsfähigkeit, logisches Denken oder Ängstlichkeit kann man dagegen nicht anfassen. Ein psychometrischer Test ist ein Verfahren, das solche unsichtbaren Eigenschaften trotzdem in eine Zahl übersetzt. Dazu stellt er vielen Menschen genau dieselben Aufgaben unter genau denselben Bedingungen. Aus den Antworten wird ein Wert berechnet, den man mit den Werten anderer Personen vergleichen kann. Der bekannteste Fall ist der Intelligenztest, aber auch Einstellungstests bei Firmen und viele Fragebögen in der Psychologie gehören dazu.

Warum eine Zahl mehr sagt als ein Bauchgefühl

Menschen beurteilen andere Menschen notorisch ungenau. Wer jemanden sympathisch findet, hält ihn oft automatisch für kompetenter. Ein standardisierter Test soll genau diesen Effekt ausschalten, weil alle Teilnehmenden dieselben Aufgaben bekommen. Deshalb setzen Unternehmen, Schulen und Kliniken seit Jahrzehnten auf solche Verfahren.

Ein guter Test muss drei Anforderungen erfüllen. Er muss zuverlässig sein, also bei einer Wiederholung ungefähr dasselbe Ergebnis liefern. Er muss gültig sein, also wirklich das messen, was er zu messen behauptet. Und er muss objektiv sein, also unabhängig davon funktionieren, wer ihn durchführt und auswertet. Fällt eine dieser drei Bedingungen weg, ist die schöne Zahl am Ende wertlos.

Genau hier liegt auch die größte Kritik. Ein Test kann formal sauber sein und trotzdem Menschen benachteiligen, etwa wenn die Aufgaben Vorwissen aus einem bestimmten kulturellen Umfeld voraussetzen. Wer die Formulierungen einer Frage nicht kennt, scheitert an der Sprache und nicht am Denken. Zahlen wirken deshalb objektiver, als sie oft sind.

Von der Antwort zum Punktwert

Am Anfang steht immer eine Sammlung von Aufgaben, in der Fachsprache Items genannt. Diese Items werden zunächst an einer großen Gruppe getestet, oft an mehreren tausend Personen. Aus deren Ergebnissen entsteht eine Vergleichsskala, die sogenannte Norm. Ein Einzelergebnis bedeutet erst durch diesen Vergleich etwas.

Der bekannte IQ-Wert ist ein gutes Beispiel für diese Rechenlogik. Der Durchschnitt der Vergleichsgruppe wird per Definition auf 100 gesetzt. Ein Wert von 115 heißt also nicht, dass jemand 115 Aufgaben gelöst hat. Er heißt, dass die Person deutlich über dem Durchschnitt ihrer Altersgruppe liegt. Die Zahl beschreibt eine Position im Vergleich, keine absolute Menge.

Aufgaben, die alle richtig oder alle falsch beantworten, fliegen bei der Entwicklung wieder heraus. Sie trennen die Teilnehmenden nicht und liefern deshalb keine Information. Ein Test besteht am Ende bevorzugt aus Items mittlerer Schwierigkeit. Das erklärt, warum solche Tests oft merkwürdig zusammengewürfelt wirken.

Psychometrie bei Sprachmodellen und im Bewerbungsprozess

Im Alltag begegnet man psychometrischen Tests vor allem bei Bewerbungen. Viele Konzerne lassen Kandidatinnen und Kandidaten Online-Aufgaben zu Logik, Zahlenverständnis und Arbeitsstil lösen. Auch die Persönlichkeitsfragebögen, die man im Internet findet, ahmen dieses Prinzip nach. Seriöse Verfahren unterscheiden sich von Spaßtests dadurch, dass ihre Güte wissenschaftlich überprüft und veröffentlicht wurde.

In den Tech-News taucht der Begriff seit einigen Jahren in einem neuen Zusammenhang auf. Forschende lassen Sprachmodelle klassische Intelligenz- und Persönlichkeitstests bearbeiten und berichten die Punktwerte. Auch Prüfungen für Menschen, etwa Anwalts- oder Medizinexamen, werden als Maßstab für KI benutzt. Solche Ergebnisse sind Verkaufsargumente, wenn ein Unternehmen ein neues Modell vorstellt.

Diese Übertragung ist allerdings umstritten. Die Normwerte stammen von Menschen, und ein Modell hat die Testaufgaben womöglich schon in seinen Trainingsdaten gesehen. Dann misst der Test Erinnerung statt Denkfähigkeit. Wer Meldungen über den IQ eines Chatbots liest, sollte deshalb genau prüfen, welcher Test verwendet wurde und woher die Vergleichszahlen kommen.