Action Prediction

Ein Mensch sieht einer anderen Person oft an, was sie gleich tun wird. Jemand greift zur Türklinke, also wird er die Tür öffnen. Jemand schaut über die Schulter und setzt den Blinker, also wird er die Spur wechseln. Action Prediction bezeichnet Computerverfahren, die genau das nachbilden: Sie beobachten eine Situation und sagen die nächste Handlung vorher, bevor sie passiert. Als Eingabe dienen meist Videobilder, manchmal auch Messwerte von Sensoren, etwa Geschwindigkeit oder Abstand. Das Ergebnis ist keine Gewissheit, sondern eine Einschätzung mit Wahrscheinlichkeiten.

Der Zeitvorsprung als eigentlicher Nutzen

Viele technische Systeme sind nur dann sicher, wenn sie früh genug reagieren. Ein Auto braucht bei 50 km/h rund 14 Meter, bis es aus der Bremsung steht. Erkennt es einen Fußgänger erst auf der Straße, ist es oft zu spät. Sagt es dagegen voraus, dass die Person vom Bordstein losläuft, gewinnt es eine Sekunde. Diese Sekunde ist der ganze Sinn der Sache.

Auch in der Zusammenarbeit von Mensch und Maschine zählt der Vorsprung. Ein Roboter in einer Werkstatt soll ein Werkzeug schon anreichen, während der Mensch noch die Hand ausstreckt. Wartet er, bis die Bewegung abgeschlossen ist, wirkt er träge und unbrauchbar. Vorhersage macht aus einem reagierenden Gerät ein mitdenkendes.

Wichtig ist die Abgrenzung zur reinen Erkennung. Aktionserkennung beantwortet die Frage: Was passiert gerade? Action Prediction beantwortet: Was passiert als Nächstes? Die erste Aufgabe ist rückblickend und deshalb deutlich einfacher. Die zweite arbeitet mit unvollständigen Informationen und kann prinzipiell nie ganz sicher sein.

Aus Bewegungsmustern auf die Zukunft schließen

Grundlage ist fast immer Training mit sehr vielen Beispielen. Man zeigt einem Programm Millionen von Videoausschnitten, in denen Handlungen ablaufen. Zu jedem Ausschnitt ist notiert, was danach geschah. Das Programm sucht selbst nach Regelmäßigkeiten zwischen Anfang und Fortsetzung. Danach kann es bei neuen, unbekannten Szenen eine Fortsetzung schätzen.

Entscheidend ist dabei der zeitliche Zusammenhang. Ein einzelnes Bild verrät wenig, eine Bildfolge dagegen viel: Richtung, Tempo, Beschleunigung, Blickrichtung. Moderne Systeme verarbeiten deshalb ganze Sequenzen und gewichten, welche Details davon gerade wichtig sind. Häufig sagen sie mehrere mögliche Fortsetzungen gleichzeitig vorher, jede mit einem Wahrscheinlichkeitswert. Ein Auto plant dann nicht für einen Verlauf, sondern für die riskantesten unter mehreren.

Ein typischer Irrtum ist, das System würde die Zukunft berechnen. Es rechnet nur aus, was in ähnlichen Situationen meistens folgte. Bei ungewöhnlichem Verhalten liegt es daher oft falsch. Und es übernimmt die Schieflagen seiner Trainingsdaten: Wer nur Videos aus Städten mit breiten Straßen sammelt, bekommt ein Modell, das in engen Altstadtgassen schlecht schätzt.

Vom Assistenzsystem bis zur Überwachungskamera

Am sichtbarsten ist Action Prediction im Straßenverkehr. Notbremsassistenten und Fahrerassistenzsysteme schätzen ständig, wohin Fußgänger, Radfahrer und andere Autos sich bewegen. Hersteller wie Tesla, Waymo oder Mobileye werben in ihren Präsentationen genau damit. In Fachtexten liest man dazu oft von Trajektorienvorhersage, also der Vorhersage des zukünftigen Bewegungspfads.

Daneben gibt es Anwendungen in Fabriken, in der Pflege und im Sport. Roboterarme passen ihr Tempo an die Handbewegung des Menschen an. Sturzerkennung in Krankenhäusern soll den Sturz idealerweise ankündigen, nicht nur melden. Analyseprogramme im Fußball schätzen aus der Laufrichtung, wohin ein Pass gespielt wird.

Kritisch diskutiert wird der Einsatz in der Videoüberwachung. Software soll dort verdächtiges Verhalten vorhersagen, etwa einen Diebstahl im Laden. Solche Systeme greifen in Grundrechte ein und liegen bei Einzelpersonen häufig falsch. Die europäische KI-Verordnung stuft Teile dieser Anwendungen deshalb als hochriskant ein oder verbietet sie. Wenn in Wirtschaftsnachrichten über Handlungsvorhersage gestritten wird, geht es meist um diese Grenzfälle.