Automation Bias

Menschen glauben Maschinen oft mehr als sich selbst. Wenn ein Navigationsgerät sagt, du sollst rechts abbiegen, biegst du rechts ab. Auch dann, wenn du eigentlich weißt, dass links der kürzere Weg wäre. Genau diese Neigung nennt man Automation Bias. Der Begriff kommt aus der Psychologie und beschreibt eine systematische Denkverzerrung: Ein technisches System wirkt neutral und rechnet schnell, also erscheint es glaubwürdiger als das eigene Bauchgefühl. Das Ergebnis ist, dass Menschen Fehler der Maschine übernehmen, obwohl sie diese Fehler mit etwas Nachdenken hätten bemerken können.

Wenn die Kontrolle zur Formsache wird

Viele Regeln für den Einsatz von Software gehen davon aus, dass am Ende ein Mensch prüft. In Behörden, Krankenhäusern und Banken soll die Maschine nur vorschlagen, entscheiden soll der Mensch. Automation Bias untergräbt genau diese Sicherheitsstufe. Wenn die Prüfung nur noch aus einem Klick auf „Bestätigen“ besteht, ist sie wirkungslos.

Besonders heikel wird das bei Systemen, die selten Fehler machen. Ein Programm, das in 99 von 100 Fällen richtig liegt, erzieht seine Nutzer zur Bequemlichkeit. Der hundertste Fall fällt dann niemandem mehr auf. Fachleute sprechen hier auch von Automatisierungskomplazenz, also einer Art eingeübter Sorglosigkeit. Der Schaden entsteht nicht trotz der guten Trefferquote, sondern wegen ihr.

Der Effekt hat eine zweite Seite, die man leicht übersieht. Menschen übernehmen nicht nur falsche Vorschläge, sie unterlassen auch eigene Schritte. Wenn kein Alarm kommt, wird nicht nachgesehen. Fachleute nennen das Unterlassungsfehler, im Gegensatz zum aktiven Übernahmefehler.

Warum das Gehirn der Maschine glaubt

Prüfen kostet Aufmerksamkeit, und Aufmerksamkeit ist eine begrenzte Ressource. Wer unter Zeitdruck viele Fälle bearbeitet, greift nach der schnellsten verfügbaren Antwort. Ein fertiger Vorschlag auf dem Bildschirm ist genau das. Psychologen sprechen von einer Abkürzung im Denken, einer sogenannten Heuristik.

Dazu kommt die Wirkung der Darstellung. Software liefert Ergebnisse ohne Zögern, oft mit einer Prozentzahl versehen. Eine Angabe wie „87 Prozent Übereinstimmung“ klingt nach Messung, ist aber nur eine Schätzung des Modells. Diese Scheingenauigkeit verschiebt das Vertrauen weiter zur Maschine. Ein Kollege, der „ich bin mir ziemlich sicher“ sagt, wirkt dagegen angreifbarer.

Schließlich spielt Verantwortung eine Rolle. Wer dem System folgt, kann sich später darauf berufen. Wer widerspricht und danebenliegt, steht allein da. Diese Verteilung des Risikos ist kein Denkfehler, sondern eine nachvollziehbare Reaktion auf die Arbeitsumgebung. Deshalb lässt sich Automation Bias auch nicht allein durch Ermahnungen abstellen.

Vom Autopiloten bis zum Chatbot im Büro

Bekannt wurde der Effekt in der Luftfahrt. Piloten folgten Anzeigen ihrer Bordsysteme auch dann, wenn ein Blick aus dem Fenster etwas anderes nahegelegt hätte. Ähnliche Fälle gibt es in der Medizin: Ärztinnen und Ärzte übersehen Auffälligkeiten auf Röntgenbildern häufiger, wenn eine Software vorher „unauffällig“ gemeldet hat. Auch Gerichte und Ämter arbeiten inzwischen mit Bewertungssystemen, deren Punktzahlen selten hinterfragt werden.

Im Alltag begegnet dir der Effekt bei Sprachmodellen wie ChatGPT. Diese Programme formulieren flüssig und selbstbewusst, auch wenn der Inhalt frei erfunden ist. Man nennt das Halluzinieren. Wer den Text ungeprüft in eine Hausarbeit oder eine Firmenpräsentation übernimmt, ist dem Automation Bias erlegen.

In der Debatte um KI-Regulierung taucht der Begriff regelmäßig auf. Die KI-Verordnung der EU verlangt bei riskanten Anwendungen eine menschliche Aufsicht und nennt Automation Bias ausdrücklich als Gefahr. Unternehmen reagieren mit Maßnahmen wie Stichprobenkontrollen, verpflichtenden Begründungen oder bewusst eingebauten Wartezeiten vor der Bestätigung. Ein häufiger Irrtum ist übrigens, den Effekt mit Technikfeindlichkeit zu verwechseln. Es geht nicht darum, Software zu misstrauen, sondern darum, das Vertrauen an die tatsächliche Zuverlässigkeit anzupassen.