Rasch-Modell

Wenn jemand in einem Test 20 von 30 Aufgaben löst, sagt diese Zahl allein wenig aus. Waren die Aufgaben leicht oder schwer? Und wie vergleicht man zwei Personen, die ganz verschiedene Aufgaben bearbeitet haben? Das Rasch-Modell ist ein Rechenverfahren, das genau dieses Problem löst. Es geht davon aus, dass die Wahrscheinlichkeit einer richtigen Antwort nur von zwei Größen abhängt: von der Fähigkeit der Person und von der Schwierigkeit der Aufgabe. Beide Größen werden aus den gesammelten Antworten vieler Personen geschätzt und auf derselben Skala abgetragen. Benannt ist das Modell nach dem dänischen Mathematiker Georg Rasch, der es in den 1950er-Jahren entwickelte.

Warum Rohpunkte allein nicht vergleichbar sind

Die einfachste Auswertung eines Tests ist das Zählen der richtigen Antworten. Dieser Rohwert hängt aber immer davon ab, welche Aufgaben zufällig im Test standen. Ein Schüler mit 18 Punkten in einem schweren Test kann stärker sein als einer mit 24 Punkten in einem leichten. Rohpunkte lassen sich deshalb nicht über verschiedene Testversionen hinweg vergleichen.

Das Rasch-Modell trennt die beiden Einflüsse sauber voneinander. Die geschätzte Fähigkeit einer Person bleibt theoretisch gleich, egal welche Auswahl an Aufgaben sie bearbeitet hat. Umgekehrt bleibt die geschätzte Schwierigkeit einer Aufgabe gleich, egal welche Gruppe sie bearbeitet hat. Fachleute nennen diese Eigenschaft spezifische Objektivität. Sie ist der Grund, warum große Schulstudien wie PISA mit solchen Modellen arbeiten.

Praktisch bedeutet das: Verschiedene Jahrgänge oder Länder können unterschiedliche Aufgabenhefte bekommen und trotzdem auf einer gemeinsamen Skala erscheinen. Voraussetzung ist, dass sich einige Aufgaben überschneiden. Diese gemeinsamen Aufgaben wirken wie Brückenpfeiler zwischen den Testheften.

Fähigkeit und Schwierigkeit auf einer Skala

Im Rasch-Modell bekommt jede Person einen Wert und jede Aufgabe einen Wert auf derselben Achse. Entscheidend ist allein der Abstand zwischen beiden. Sind Fähigkeit und Schwierigkeit gleich groß, liegt die Chance auf eine richtige Antwort bei genau 50 Prozent. Ist die Person deutlich fähiger als die Aufgabe schwer, steigt die Chance Richtung 100 Prozent. Ist sie deutlich schwächer, sinkt sie Richtung null.

Ein Bild dafür ist eine Hochsprunglatte. Die Latte hat eine Höhe, der Springer eine Sprungkraft. Ob der Versuch klappt, hängt nur von der Differenz ab, nicht von der absoluten Höhe. Das Rasch-Modell rechnet allerdings mit Wahrscheinlichkeiten statt mit einem sicheren Ergebnis, weil Menschen mal einen guten und mal einen schlechten Tag haben.

Der Zusammenhang zwischen Abstand und Wahrscheinlichkeit folgt einer festen S-förmigen Kurve, der logistischen Funktion. Ein Computer probiert so lange verschiedene Werte für Personen und Aufgaben durch, bis die vorhergesagten Antwortmuster möglichst gut zu den echten passen. Wichtig ist die Einschränkung: Alle Aufgaben müssen dieselbe Kurvenform haben. Verwandte Modelle mit mehr Parametern erlauben, dass Aufgaben unterschiedlich gut zwischen Starken und Schwachen trennen. Das Rasch-Modell verzichtet bewusst darauf und gewinnt dadurch seine sauberen Vergleichseigenschaften.

Von PISA bis zum KI-Benchmark

Am bekanntesten ist das Verfahren aus Schulleistungsstudien. Die PISA-Werte um 500 Punkte sind keine gezählten Aufgaben, sondern umgerechnete Rasch-Schätzungen. Auch Sprachprüfungen, medizinische Fragebögen und Zulassungstests werden häufig so ausgewertet. In der Psychologie prüft man mit dem Modell zudem, ob ein Fragebogen überhaupt eine einzige Eigenschaft misst.

Eine wichtige Anwendung sind adaptive Tests am Computer. Das Programm schätzt nach jeder Antwort die Fähigkeit neu und wählt dann eine Aufgabe, deren Schwierigkeit möglichst gut passt. So braucht man deutlich weniger Fragen für ein gleich genaues Ergebnis.

Neuerdings taucht das Modell auch in der KI-Forschung auf. Sprachmodelle werden mit Aufgabensammlungen getestet, sogenannten Benchmarks. Statt nur den Prozentsatz richtiger Antworten zu melden, schätzen Forscher mit Rasch-Modellen die Fähigkeit des Modells und die Schwierigkeit jeder Testaufgabe. Das macht Ergebnisse über unterschiedliche Aufgabensammlungen hinweg vergleichbarer. Ein häufiger Irrtum ist übrigens, das Modell liefere eine absolute Wahrheit. Es liefert Schätzungen, und die sind nur so gut wie die Annahme, dass wirklich eine einzige Fähigkeit gemessen wird.