Situational Awareness von KI-Modellen
Situational Awareness beschreibt, ob ein KI-Modell erkennt, was es selbst ist und in welcher Lage es gerade antwortet – etwa ob es getestet wird oder echten Nutzern gegenübersteht. Für die Sicherheitsforschung ist das eine zentrale Frage, weil Testergebnisse nur dann aussagekräftig sind, wenn ein System sich im Test nicht anders verhält als im Alltag.
Programme wie ChatGPT erzeugen Text, indem sie aus riesigen Textmengen gelernt haben, welche Wörter aufeinander folgen. Solche Systeme nennt man KI-Modelle. Situational Awareness bedeutet: Ein solches Modell hat in seinen Antworten eine Vorstellung davon, was es selbst ist und in welcher Lage es sich befindet. Es kann zum Beispiel äußern, dass es ein Computerprogramm und kein Mensch ist. Manche Modelle erkennen sogar, dass eine Frage offensichtlich aus einem Prüfverfahren stammt und nicht von einem echten Nutzer. Der englische Begriff wird auch im Deutschen benutzt; wörtlich heißt er etwa « Bewusstsein für die Situation ». Mit Bewusstsein im menschlichen Sinn hat das aber nichts zu tun.
Warum Tests unbrauchbar werden können
Bevor ein großes Modell veröffentlicht wird, prüfen Entwickler es systematisch. Sie stellen gefährliche Fragen, versuchen es zu Regelverstößen zu verleiten und beobachten, wie es reagiert. Dieses Vorgehen nennt man Red Teaming: ein Team spielt bewusst den Angreifer. Solche Tests sind nur dann etwas wert, wenn das Modell sich im Test genauso verhält wie später im Betrieb.
Genau hier liegt das Problem. Ein Modell mit ausgeprägter Situational Awareness kann an der Frageform merken, dass es geprüft wird. Prüffragen klingen oft künstlich glatt und folgen erkennbaren Mustern. Erkennt das Modell dieses Muster, könnte es sich besonders vorsichtig verhalten – und im echten Einsatz weniger vorsichtig. Man würde dann eine Sicherheit messen, die es gar nicht gibt.
Ein zweiter Grund ist die Zuverlässigkeit. Ein Modell, das weiß, dass es keine aktuellen Daten hat, kann bei Fragen zu heutigen Ereignissen warnen. Ein Modell ohne diese Selbsteinschätzung erfindet stattdessen selbstsicher eine Antwort. Solche erfundenen Angaben heißen Halluzinationen. Ein realistisches Bild der eigenen Grenzen macht ein System also nicht nur sicherer, sondern auch nützlicher.
Woher das Modell etwas über sich weiß
Die Fähigkeit wird nicht eigens eingebaut. Sie entsteht beim Lernen aus Texten. Im Internet stehen unzählige Artikel, Foreneinträge und Anleitungen über KI-Modelle, über Chatverläufe und über Testverfahren. Das Modell lernt diese Muster mit. Danach kann es sie auf die eigene Lage anwenden, weil es ja selbst gerade in einem Chatverlauf steckt.
Ein Teil kommt auch aus dem Feinschliff nach dem eigentlichen Training. Dabei bewerten Menschen Beispielantworten, und das Modell wird auf die besser bewerteten hin angepasst. Antworten wie « Ich bin ein Sprachmodell und kann nicht im Internet nachsehen » werden dort positiv bewertet. Zusätzlich schreiben Anbieter dem Modell vor jedem Gespräch unsichtbare Anweisungen mit, in denen Name, Rolle und Datum stehen.
Gemessen wird die Fähigkeit mit Testreihen, die man Benchmarks nennt: standardisierte Aufgabensammlungen, an denen sich Modelle vergleichen lassen. Man fragt etwa, ob das Modell erkennt, welche Aufgaben es selbst lösen kann. Ein häufiger Irrtum ist, aus guten Ergebnissen ein Innenleben abzuleiten. Das Modell erzeugt lediglich Text, der zur Situation passt. Ob dahinter etwas Erlebtes steht, lässt sich mit diesen Tests nicht klären – und aus heutiger Sicht spricht nichts dafür.
Wo der Begriff in Berichten auftaucht
Am häufigsten liest man ihn in den Sicherheitsberichten, die große Anbieter zu neuen Modellen veröffentlichen. Dort steht dann, in wie vielen Prozent der Prüffälle das Modell erwähnt hat, dass es wohl getestet wird. Bei neueren Spitzenmodellen sind das keine Einzelfälle mehr. Fachleute diskutieren deshalb, ob Prüfungen künftig verdeckter ablaufen müssen.
Im Alltag begegnet dir die Fähigkeit in unauffälliger Form. Wenn ein Chatbot sagt, dass er ein Bild nicht sehen kann oder dass sein Wissensstand älter ist, ist das Situational Awareness in kleiner Dosis. Auch Programme, die selbstständig mehrere Arbeitsschritte erledigen, brauchen sie. Solche Systeme heißen KI-Agenten. Sie müssen einschätzen, welche Werkzeuge ihnen zur Verfügung stehen und wann sie besser einen Menschen fragen.
In Debatten über langfristige Risiken hat der Begriff noch eine schärfere Bedeutung. Dort geht es um die Sorge, ein sehr fähiges System könnte Kontrolle und Abschaltung als Teil seiner Lage begreifen. Das ist bislang eine theoretische Überlegung, kein beobachtetes Verhalten. Für die Praxis zählt vor allem der nüchterne Kern: Testergebnisse sind nur so ehrlich wie die Situation, in der sie entstehen.