Trainingsmaterial

Ein KI-System bekommt sein Können nicht von Programmierern eingetippt. Es holt sich das Können aus Beispielen. Trainingsmaterial ist genau diese Sammlung von Beispielen: Texte, Bilder, Tonaufnahmen, Videos oder Tabellen mit Messwerten. Das Programm sucht darin nach Mustern und speichert sie in Form von Millionen oder Milliarden von Zahlen. Wer ein Programm bauen will, das Katzen auf Fotos erkennt, braucht sehr viele Fotos mit und ohne Katze. Wer ein Programm will, das Sätze fortsetzt, braucht sehr viel geschriebene Sprache.

Warum die Datenauswahl über die Qualität entscheidet

Ein Modell kann nur das lernen, was in seinen Beispielen vorkommt. Fehlt eine Sprache im Material, spricht es diese Sprache schlecht. Sind medizinische Fachtexte kaum enthalten, sind medizinische Antworten unzuverlässig. Fachleute sagen dazu kurz: Müll rein, Müll raus.

Besonders heikel sind Verzerrungen im Material. Wenn in den Beispieltexten Ärzte fast immer männlich und Pflegekräfte fast immer weiblich sind, übernimmt das Modell dieses Ungleichgewicht. Das ist kein Programmierfehler, sondern eine getreue Wiedergabe der Vorlage. Solche Schieflagen im Datenbestand nennt man Bias. Sie lassen sich nachträglich nur mühsam abschwächen.

Dazu kommt eine rechtliche Seite. Viele Texte und Bilder im Internet sind urheberrechtlich geschützt. Zeitungen, Fotoagenturen und Autoren streiten deshalb vor Gericht mit KI-Firmen darüber, ob ihre Werke ohne Erlaubnis als Trainingsmaterial dienen durften. Diese Verfahren beeinflussen inzwischen Börsenkurse und Firmenbewertungen.

Vom Rohdatenberg zum brauchbaren Datensatz

Am Anfang steht das Sammeln. Programme laden dafür große Teile des öffentlichen Internets herunter, dazu kommen gekaufte Archive, eingescannte Bücher oder Daten aus dem eigenen Unternehmen. Das Ergebnis ist ein riesiger, unsortierter Berg. Große Sprachmodelle werden mit Billionen von Wortbausteinen trainiert.

Der zweite Schritt ist das Aufräumen, und er kostet die meiste Arbeit. Doppelte Textstellen werden entfernt, weil das Modell sie sonst wörtlich auswendig lernt. Werbetexte, Spam und Gewaltdarstellungen werden herausgefiltert. Danach wird das Material in ein einheitliches Format gebracht, damit die Rechner es verarbeiten können.

Bei manchen Aufgaben braucht es zusätzlich Beschriftungen. Auf einem Foto markieren Menschen dann von Hand, wo ein Fußgänger steht. Bei Chatbots schreiben bezahlte Fachkräfte Musterantworten und bewerten Modellausgaben. Dieses beschriftete Material ist teuer, aber es ist der Grund, warum ein Chatbot höflich antwortet statt einfach irgendeinen Text fortzusetzen.

Trainingsmaterial in News und Produkten

In Nachrichten tauchen Trainingsdaten meist in drei Zusammenhängen auf. Erstens bei Klagen: Verlage oder Musiklabels verlangen Geld oder Löschung. Zweitens bei Lizenzverträgen: KI-Firmen zahlen Medienhäusern für Zugriff auf ihre Archive. Drittens beim Datenmangel: Es gibt Schätzungen, dass hochwertiger Text im Netz knapp wird.

Auch als Nutzer kommt man damit in Berührung. In den Einstellungen vieler Chatbots gibt es einen Schalter dafür, ob eigene Gespräche zum Training verwendet werden dürfen. Firmen schalten das aus, damit keine internen Informationen in ein fremdes Modell wandern. Für Schulen und Behörden ist das häufig eine Bedingung für den Einsatz.

Ein verbreiteter Irrtum ist übrigens, dass ein Modell sein Trainingsmaterial wie eine Bibliothek gespeichert hätte. Das ist meist nicht so: Es behält Muster, nicht Kopien. Nur bei Inhalten, die sehr oft im Material vorkamen, kann es ganze Passagen wiedergeben. Und es unterscheidet sich vom Testmaterial, das man absichtlich zurückhält, um die Leistung des fertigen Modells ehrlich zu prüfen.