Systemkarte

Wenn eine Firma ein neues Computerprogramm veröffentlicht, das selbstständig Texte schreibt oder Bilder erkennt, legt sie oft ein Begleitdokument dazu. Dieses Dokument heißt Systemkarte. Darin steht, wofür das Programm gedacht ist und wofür ausdrücklich nicht. Außerdem beschreiben die Entwickler, welche Prüfungen sie vorher durchgeführt haben und wie das Programm dabei abgeschnitten hat. Ein wichtiger Teil sind die bekannten Schwächen: Aufgaben, bei denen das Programm regelmäßig falsche Antworten liefert. Man kann sich eine Systemkarte wie den Beipackzettel eines Medikaments vorstellen — Wirkung, Anwendungsgebiet und Nebenwirkungen auf einem Blatt.

Was eine Systemkarte über Vertrauen verrät

Moderne KI-Systeme sind von außen nicht durchschaubar. Man sieht nur, was hineingeht und was herauskommt. Wer ein solches System in einer Schule, einer Bank oder einem Krankenhaus einsetzen will, braucht aber verlässliche Angaben. Ohne Systemkarte bleibt nur das Marketing des Herstellers, und das nennt selten die Grenzen des Produkts.

Für Journalisten und Aufsichtsbehörden sind Systemkarten oft die einzige belastbare Quelle. Wenn in den Nachrichten steht, ein Modell habe bei einer bestimmten Prüfung 80 Prozent erreicht, stammt diese Zahl meist aus einer Systemkarte. Auch neue Gesetze gehen in diese Richtung. Die KI-Verordnung der Europäischen Union verlangt für riskante Anwendungen eine technische Dokumentation, die inhaltlich sehr ähnlich aussieht.

Es gibt aber einen Haken. Systemkarten werden fast immer vom Hersteller selbst geschrieben, ohne unabhängige Kontrolle. Welche Tests aufgenommen werden, entscheidet der Hersteller. Ein Test, der schlecht ausgefallen ist, kann einfach weggelassen werden. Eine Systemkarte ist also ein Anfang von Transparenz, kein Prüfsiegel.

Woraus so ein Dokument besteht

Am Anfang steht die Beschreibung des Systems: welche Eingaben es verarbeitet, in welchen Sprachen es arbeitet, in welchen Produkten es steckt. Danach folgen die Messergebnisse. Dafür lässt man das System standardisierte Aufgabensammlungen lösen, etwa Matheaufgaben oder Programmieraufgaben mit bekannten Lösungen. Die Trefferquote wird in Prozent angegeben und lässt sich so mit anderen Systemen vergleichen.

Ein zweiter Teil beschäftigt sich mit Risiken. Hier beauftragen Firmen Teams, die absichtlich versuchen, dem System schädliche Antworten zu entlocken. Dieses Vorgehen heißt Red Teaming, angelehnt an militärische Übungen mit einer gegnerischen Truppe. Die Systemkarte dokumentiert, was diese Teams gefunden haben und welche Sperren daraufhin eingebaut wurden.

Häufig verwechselt wird die Systemkarte mit der Modellkarte. Eine Modellkarte beschreibt nur das trainierte Modell selbst, also den rechnenden Kern. Eine Systemkarte beschreibt das gesamte Produkt darum herum: Filter, Sicherheitsregeln, Benutzeroberfläche. Das ist der praktisch relevantere Blick, weil Nutzer immer das Gesamtsystem verwenden.

Systemkarten in Produktstarts und Schlagzeilen

Große Anbieter wie OpenAI, Anthropic und Google veröffentlichen zu jedem wichtigen Modell eine Systemkarte, oft am Tag der Vorstellung. Die Dokumente sind frei im Netz abrufbar und meist zwischen zwanzig und über hundert Seiten lang. Wer wissen will, was ein neues Modell wirklich kann, findet dort mehr als in der Pressemitteilung.

In Nachrichtenartikeln tauchen Systemkarten oft dann auf, wenn etwas Unangenehmes darin steht. Meldungen über gefährliche Fähigkeiten eines Modells stammen häufig aus den Risikoabschnitten dieser Dokumente. Solche Details geraten regelmäßig in die Schlagzeilen, obwohl sie der Hersteller selbst offengelegt hat.

Auch im Berufsleben spielen Systemkarten eine wachsende Rolle. Unternehmen, die KI einkaufen, verlangen sie inzwischen als Teil der Angebotsunterlagen. Fehlt das Dokument, lässt sich kaum begründen, warum man dem System vertraut. Für Schüler und Studierende ist es ein guter Einstieg: Man lernt an einem realen Beispiel, wie eine Technologie ihre eigenen Grenzen beschreibt.