Model Card

Wenn eine Firma ein fertiges Computerprogramm veröffentlicht, das aus Beispielen gelernt hat, liefert sie oft ein kurzes Begleitdokument mit. Dieses Dokument heißt Model Card, also übersetzt etwa « Modellkarte ». Darin steht, wofür das Programm gedacht ist, mit welchen Daten es trainiert wurde und wie gut es in Tests abgeschnitten hat. Genauso wichtig ist der zweite Teil: wo das Programm bekanntermaßen schlecht funktioniert und wofür man es nicht benutzen sollte. Man kann sich das wie den Beipackzettel eines Medikaments vorstellen. Auch dort steht nicht nur die Wirkung, sondern auch die Dosierung, die Nebenwirkungen und die Fälle, in denen man das Mittel nicht nehmen darf.

Warum ein Beipackzettel für Software nötig wurde

Ein trainiertes Programm sieht von außen wie eine neutrale Rechenmaschine aus. Das täuscht. Es hat immer nur einen bestimmten Ausschnitt der Welt gesehen, nämlich seine Trainingsdaten. Außerhalb dieses Ausschnitts sind seine Antworten oft unzuverlässig, ohne dass man es merkt.

Bekannt wurde das Problem an Gesichtserkennung. Mehrere Systeme erkannten hellhäutige Männer sehr zuverlässig, machten aber bei dunkelhäutigen Frauen deutlich mehr Fehler. Der Grund lag nicht in einer bösen Absicht, sondern in unausgewogenen Übungsbilder-Sammlungen. Ohne eine Model Card erfährt niemand, dass diese Lücke existiert. Genau aus dieser Erfahrung entstand der Vorschlag 2018 bei Google, standardisierte Modellkarten zu veröffentlichen.

Inzwischen gibt es auch einen rechtlichen Grund. Die KI-Verordnung der Europäischen Union verlangt für riskante Anwendungen eine technische Dokumentation. Eine gute Model Card ist ein Baustein davon. Sie hilft außerdem Firmen, die ein fremdes System einkaufen, und muss keine Geschäftsgeheimnisse verraten.

Welche Angaben in einer Modellkarte stehen

Eine Model Card ist kein Programmcode, sondern reiner Text, meist ein bis fünf Seiten. Am Anfang stehen die Grunddaten: Name, Version, Erscheinungsdatum, Entwickler und die Nutzungsbedingungen. Dann folgt der vorgesehene Einsatzzweck, möglichst konkret. Ein Beispiel: « Erkennt Verkehrszeichen in Tageslichtaufnahmen aus Mitteleuropa ».

Der wichtigste Teil sind die Messwerte. Dort steht, wie oft das System richtig lag und auf welchen Testdaten. Entscheidend ist, dass diese Werte aufgeschlüsselt werden, etwa nach Sprache, Altersgruppe oder Bildqualität. Ein Durchschnittswert von 95 Prozent kann verbergen, dass eine Gruppe nur 70 Prozent erreicht. Diese Aufschlüsselung unterscheidet eine ernst gemeinte Model Card von reiner Werbung.

Danach folgen die Grenzen und Risiken. Hier notieren die Entwickler, welche Fehler sie selbst gefunden haben. Verwandt ist das Datenblatt, auf Englisch Datasheet: Es beschreibt nicht das Programm, sondern die Datensammlung, aus der gelernt wurde. Ein häufiger Irrtum ist, eine Model Card mache das System sicher. Sie beschreibt nur, was ohnehin da ist. Wer sie nachlässig ausfüllt, verbessert nichts.

Wo man Modellkarten selbst nachlesen kann

Am leichtesten findet man sie auf Hugging Face, einer großen Plattform, auf der Entwickler ihre trainierten Programme zum Download anbieten. Fast jeder Eintrag dort beginnt mit einer solchen Karte. Auch die Hersteller großer Sprachprogramme veröffentlichen inzwischen ausführliche Versionen, teils über hundert Seiten lang. Sie heißen dann oft System Card, weil sie nicht nur das Modell, sondern das ganze Produkt drumherum beschreiben.

In den Nachrichten tauchen Model Cards meist in zwei Situationen auf. Erstens beim Start eines neuen Systems, wenn Journalisten die angegebenen Testwerte vergleichen. Zweitens nach einem Fehlschlag, wenn sich zeigt, dass ein Risiko im Dokument stand und trotzdem ignoriert wurde. Kritiker weisen darauf hin, dass viele Karten unvollständig bleiben, besonders bei den Trainingsdaten. Wer ein System beurteilen will, liest deshalb nicht nur, was drinsteht, sondern achtet auch darauf, welche Frage unbeantwortet bleibt.