Streetlight-Effekt

Der Streetlight-Effekt hat seinen Namen von einem alten Witz. Ein Mann sucht nachts unter einer Straßenlaterne seinen Schlüssel. Ein Passant hilft ihm, findet nichts und fragt, ob der Schlüssel überhaupt hier verloren ging. Der Mann antwortet: Nein, drüben im Park, aber hier ist das Licht besser. Genau dieses Muster meint der Begriff: Man sucht dort, wo das Suchen bequem ist, nicht dort, wo die Antwort liegt. Es geht dabei nicht um Dummheit, sondern um eine sehr verständliche Reaktion auf begrenzte Zeit und begrenzte Daten.

Warum leicht messbare Zahlen die Sicht verzerren

Wer etwas untersuchen will, braucht Daten. Manche Daten liegen fertig herum, andere müsste man mühsam erheben. Also arbeiten Forschung und Unternehmen bevorzugt mit dem, was schon da ist. Das Ergebnis ist oft korrekt, beantwortet aber eine andere Frage als die eigentlich wichtige.

Ein Beispiel aus der Medizin: Über Krankheiten reicher Länder gibt es riesige Datenmengen, weil dort viel dokumentiert wird. Über Krankheiten, die vor allem arme Regionen treffen, gibt es wenig. Deshalb entstehen mehr Studien und mehr Medikamente für die erste Gruppe. Nicht weil diese Krankheiten schlimmer wären, sondern weil dort das Licht heller ist.

In der Wirtschaft passiert dasselbe mit Kennzahlen. Klickzahlen einer Website sind sekundengenau messbar, Kundenzufriedenheit dagegen nur ungefähr. Also steuern viele Firmen nach Klicks. Der bekannte Satz, dass gemessen wird, was zählt, kehrt sich dann um: Es zählt, was gemessen wird.

Der Mechanismus hinter der falschen Suche

Der Effekt entsteht aus zwei Zutaten. Erstens sind die Kosten der Suche ungleich verteilt: Ein Bereich ist billig zu untersuchen, ein anderer teuer. Zweitens fehlt eine Kontrolle, ob der untersuchte Bereich überhaupt der richtige ist. Wo beides zusammenkommt, wandert die Aufmerksamkeit fast automatisch zum billigen Bereich.

In der KI-Entwicklung zeigt sich das an Testverfahren, sogenannten Benchmarks. Das sind standardisierte Aufgabensammlungen, mit denen man Modelle vergleicht, etwa Multiple-Choice-Fragen oder Programmieraufgaben. Solche Tests sind praktisch, weil sie eine einzige Prozentzahl liefern. Ob ein Modell im echten Arbeitsalltag hilfreich ist, lässt sich so aber nicht messen. Firmen optimieren trotzdem auf die Prozentzahl, weil nur sie öffentlich sichtbar ist.

Wichtig ist die Abgrenzung zu einem verwandten Fehler. Beim Bestätigungsfehler sucht jemand gezielt nach Belegen für seine Meinung. Beim Streetlight-Effekt ist die Absicht neutral, nur der Ort der Suche ist falsch gewählt. Ein typischer Irrtum ist außerdem, den Effekt für ein reines Faulheitsproblem zu halten. Oft ist die schwierige Messung schlicht unbezahlbar, und dann bleibt gar keine andere Wahl.

Wo der Effekt in Technik-News auftaucht

Am häufigsten liest man ihn zwischen den Zeilen, wenn neue KI-Modelle vorgestellt werden. Eine Firma meldet Bestwerte in mehreren Benchmarks, doch Nutzer berichten kurz darauf von enttäuschenden Alltagsergebnissen. Kritiker sprechen dann von Benchmark-Optimierung. Die Zahlen stimmen, sie messen nur das falsche.

Auch beim Trainingsmaterial von Sprachmodellen ist der Effekt sichtbar. Modelle lernen aus Texten, die im Internet frei verfügbar sind. Englischsprachige Quellen sind dort massiv überrepräsentiert. Deshalb sind viele Modelle in kleineren Sprachen deutlich schwächer, ohne dass jemand das so entschieden hätte.

Für dich als Leser ist der Effekt vor allem ein Prüfwerkzeug. Wenn eine Meldung eine beeindruckende Zahl nennt, lohnt eine Rückfrage: Wurde hier gemessen, was wichtig ist, oder das, was leicht zu messen war? Diese Frage kostet nichts und entlarvt erstaunlich viele Schlagzeilen.