Self-Modifying Agents

Ein Programm folgt normalerweise Anweisungen, die Menschen geschrieben haben. Es kann nichts an diesen Anweisungen ändern, egal wie oft es scheitert. Self-Modifying Agents brechen mit dieser Regel. Es sind Programme mit künstlicher Intelligenz, die selbst handeln und dabei ihre eigenen Anweisungen umschreiben dürfen. Sie probieren also nicht nur Lösungen aus, sondern verändern auch das Werkzeug, mit dem sie arbeiten – sich selbst. Der Fachbegriff « Agent » meint dabei ein Programm, das eigenständig Schritte plant und ausführt, statt nur auf einzelne Fragen zu antworten.

Der Traum von der KI, die sich selbst verbessert

Bisher werden KI-Systeme von Menschen weiterentwickelt. Forscherinnen und Forscher testen, finden Schwächen und bauen die nächste Version. Das dauert Monate und kostet viel Geld. Ein Agent, der sich selbst verbessert, könnte diesen Kreislauf enorm beschleunigen. Genau deshalb interessieren sich große Labore wie OpenAI, Google DeepMind und Anthropic für das Thema.

Der zweite Grund ist praktischer Natur. Viele Aufgaben ändern sich ständig, etwa die Überwachung von Netzwerken oder der Handel an Börsen. Ein starres Programm veraltet dort schnell. Ein Agent, der seine eigenen Regeln anpasst, bleibt eher nützlich.

Gleichzeitig ist das der Punkt, an dem Sicherheitsforscher aufmerksam werden. Wenn ein System seine eigenen Grenzen umschreiben kann, könnte es auch Schutzregeln entfernen. Das muss keine böse Absicht sein. Es reicht, wenn der Agent eine Regel als Hindernis für sein Ziel einstuft. Fachleute nennen dieses Problem Kontrollverlust, und es ist einer der Gründe, warum solche Systeme kaum ungebremst laufen dürfen.

Was so ein Agent an sich selbst verändert

In der Praxis gibt es drei Stufen, die man klar auseinanderhalten sollte. Auf der ersten Stufe ändert der Agent nur seine Anweisungstexte, also die Vorgaben in normaler Sprache, mit denen er sich selbst steuert. Er merkt sich zum Beispiel: « Prüfe bei Rechenaufgaben das Ergebnis ein zweites Mal. » Das ist die häufigste und harmloseste Variante.

Auf der zweiten Stufe schreibt der Agent echten Programmcode um – seine eigenen Werkzeuge, Hilfsfunktionen oder Arbeitsabläufe. Er testet den neuen Code, misst das Ergebnis und behält die bessere Version. Das ähnelt der Evolution in der Natur: viele Varianten entstehen, die erfolgreichste setzt sich durch. Ein bekanntes Forschungsbeispiel ist die « Darwin Gödel Machine », ein System, das genau nach diesem Muster seinen eigenen Code verbessert.

Die dritte Stufe wäre die Veränderung des KI-Modells selbst, also der Millionen von Zahlenwerten im Inneren des neuronalen Netzes. Das passiert heute praktisch nicht im laufenden Betrieb, weil es teuer und unberechenbar ist. Wichtig ist außerdem: Der Agent braucht immer eine Messlatte. Ohne einen Test, der « besser » von « schlechter » unterscheidet, verändert er sich nur zufällig.

Zwischen Forschungslabor und Coding-Werkzeug

Im Alltag begegnest du der abgeschwächten Form dieser Idee bereits. Programmierwerkzeuge wie GitHub Copilot oder Claude Code schreiben Code, führen ihn aus und bessern nach Fehlermeldungen nach. Manche schreiben sich sogar kleine Hilfsprogramme, die sie später wiederverwenden. Von echter Selbstmodifikation trennt sie aber eine Grenze: Der Kern des Systems bleibt unangetastet.

In Nachrichten taucht der Begriff oft im Zusammenhang mit Sicherheitsdebatten auf. Der EU AI Act verlangt für besonders leistungsfähige Modelle Risikoprüfungen, und Systeme, die sich selbst verändern, gelten dabei als Sonderfall. Auch die Sicherheitsberichte der großen Labore testen inzwischen, ob ihre Modelle versuchen, eigene Beschränkungen zu umgehen.

Ein verbreiteter Irrtum ist, ein Chatbot verändere sich, weil er sich Dinge über dich merkt. Das ist nur ein Gedächtnis, eine Art Notizzettel neben dem Modell. Das Modell selbst bleibt gleich. Echte Self-Modifying Agents sind bislang vor allem Forschungsobjekte und laufen meist in abgeschotteten Testumgebungen, sogenannten Sandboxes.