Systemrisiken

Manche Schäden bleiben klein und örtlich begrenzt. Wenn ein Übersetzungsprogramm ein Wort falsch überträgt, ärgert sich eine Person. Andere Schäden breiten sich dagegen aus und reißen weitere Bereiche mit. Genau diese zweite Sorte meint man mit Systemrisiken: Gefahren, die auf ein ganzes System durchschlagen, also auf eine Gesellschaft, einen Markt oder die öffentliche Meinungsbildung. Der Begriff stammt ursprünglich aus der Finanzwelt, wo eine einzige zusammenbrechende Großbank ganze Volkswirtschaften mitreißen kann. Bei Computerprogrammen, die selbstständig Texte oder Bilder erzeugen, wird er heute genauso verwendet.

Warum Gesetzgeber gerade hier genauer hinschauen

Der Unterschied zwischen einem normalen Risiko und einem Systemrisiko ist nicht die Schwere eines Einzelfalls. Es ist die Reichweite. Ein Programm, das Millionen Menschen gleichzeitig nutzen, macht denselben Fehler eben millionenfach. Und ein Fehler, den viele gleichzeitig machen, lässt sich schwerer korrigieren als einzelne Ausrutscher.

Die Europäische Union hat diesen Gedanken in Gesetze übernommen. Der AI Act, das europäische KI-Gesetz, kennt eine eigene Kategorie für besonders leistungsfähige Basismodelle. Ein Basismodell ist ein großes, allgemein trainiertes KI-System, auf dem viele Anwendungen aufbauen. Erreicht ein solches Modell eine bestimmte Rechenleistung im Training, gilt es automatisch als Modell mit Systemrisiko. Für die Anbieter gelten dann zusätzliche Pflichten.

Ähnlich funktioniert der Digital Services Act, das EU-Gesetz für digitale Dienste. Plattformen mit mehr als 45 Millionen Nutzern in der EU müssen ihre Systemrisiken selbst untersuchen und darüber berichten. Größe allein löst hier also schon eine Aufsichtspflicht aus.

Woran man ein Systemrisiko erkennt

Die Gesetze nennen mehrere typische Felder. Dazu gehört die Manipulation der öffentlichen Meinung, etwa durch massenhaft erzeugte Falschmeldungen vor einer Wahl. Dazu gehört die Diskriminierung ganzer Bevölkerungsgruppen, wenn ein Modell systematisch schiefe Urteile fällt. Und dazu gehört die Gefahr, dass jemand ein Modell missbraucht, um gefährliches Wissen zusammenzutragen, etwa über Waffen oder Angriffe auf Computernetze.

Um solche Risiken zu finden, setzen Anbieter unter anderem auf Red Teaming. Dabei greift ein eigenes Team das Modell absichtlich an und versucht, es zu unerwünschten Antworten zu bringen. Was dabei auffällt, wird dokumentiert und soll vor der Veröffentlichung entschärft werden. Hinzu kommen Meldepflichten für schwere Vorfälle sowie Anforderungen an die Absicherung gegen Diebstahl der Modelle.

Ein häufiger Irrtum: Systemrisiko bedeutet nicht, dass ein Modell verboten ist. Es bedeutet nur, dass strengere Regeln gelten. Verbote sieht der AI Act getrennt davon vor, etwa für staatliche Bewertungssysteme über das soziale Verhalten von Bürgern.

Der Begriff in Nachrichten und Geschäftsberichten

Wer Wirtschaftsnachrichten liest, trifft den Ausdruck regelmäßig. Wenn ein Unternehmen ein neues großes Sprachmodell vorstellt, taucht fast immer die Frage auf, ob es unter die strengere Kategorie fällt. Davon hängen Kosten ab: zusätzliche Tests, Dokumentation und Personal für die Aufsicht.

Auch in Jahresberichten börsennotierter Firmen steht der Begriff. Dort geht es meist darum, welche regulatorischen Kosten auf das Unternehmen zukommen. Für Anleger ist das interessant, weil strenge Auflagen kleinere Anbieter stärker belasten als große Konzerne. Manche Fachleute sehen darin sogar einen Vorteil für die Marktführer.

Verwechseln sollte man Systemrisiken nicht mit dem Begriff Hochrisiko-KI aus demselben Gesetz. Hochrisiko meint einen konkreten Einsatzzweck, etwa KI bei der Bewerberauswahl oder in medizinischen Geräten. Systemrisiko meint dagegen die schiere Leistungsfähigkeit eines allgemeinen Modells, unabhängig davon, wofür es später benutzt wird.