Trainings-Repository

Ein Computerprogramm, das selbst lernen soll, braucht sehr viele Beispiele: Texte, Bilder, Tonaufnahmen oder Tabellen. Diese Beispiele liegen nicht wild verstreut auf irgendwelchen Festplatten. Sie werden an einem zentralen Ort gesammelt und geordnet abgelegt. Genau dieser Ort heißt Trainings-Repository. Das englische Wort “repository” bedeutet ungefähr “Lager” oder “Ablage”. Ein solches Lager ist mehr als ein Ordner: Es notiert zu jeder Datei, woher sie kommt, wann sie hinzugefügt wurde und in welcher Fassung sie vorliegt.

Warum das Datenlager über die Qualität des Modells entscheidet

Ein lernendes Programm kann nur das wiedergeben, was in seinen Beispielen steckt. Sind die Daten einseitig, wird auch das Ergebnis einseitig. Ein Bilderkenner, der fast nur Fotos aus Europa gesehen hat, versagt oft bei Straßenszenen aus Asien. Wer im Nachhinein verstehen will, warum ein System sich so verhält, muss in die Daten schauen können. Ohne geordnetes Lager ist das praktisch unmöglich.

Dazu kommt die rechtliche Seite. Nicht jedes Bild und nicht jeder Text darf einfach benutzt werden. Viele Inhalte sind urheberrechtlich geschützt, andere enthalten persönliche Daten von Menschen. Ein Trainings-Repository hält fest, aus welcher Quelle jede Datei stammt und unter welcher Lizenz sie steht. Wenn ein Verlag später Ansprüche anmeldet, kann ein Unternehmen nachschlagen, statt zu raten.

Auch die europäische KI-Verordnung, oft AI Act genannt, verlangt von Anbietern großer Modelle eine Beschreibung der verwendeten Daten. Diese Beschreibung lässt sich nur schreiben, wenn jemand von Anfang an mitprotokolliert hat. Nachträglich rekonstruieren kann man das kaum. Deshalb ist ein sauberes Datenlager heute keine Fleißarbeit mehr, sondern eine Pflichtübung.

Vom Rohtext zum versionierten Datensatz

Am Anfang stehen Rohdaten. Sie kommen aus Webseiten, aus gekauften Archiven, aus eigenen Messungen oder aus Aufnahmen, die Menschen bewusst beigesteuert haben. Diese Rohdaten sind unbrauchbar, solange sie ungeprüft sind. Also werden sie gefiltert: doppelte Einträge fliegen raus, kaputte Dateien ebenso, gewaltverherrlichende oder illegale Inhalte werden aussortiert. Erst danach landet das Material im Repository.

Der wichtigste technische Trick heißt Versionierung. Das Lager speichert nicht nur den heutigen Stand, sondern auch jeden früheren. Man kann also sagen: “Nimm den Datensatz, so wie er am 3. Februar aussah.” Das ist derselbe Gedanke wie bei einem Textdokument, dessen Bearbeitungsverlauf man zurückspulen kann. Nur geht es hier um Millionen Dateien statt um eine.

Warum ist das so wichtig? Weil ein Lernvorgang sonst nicht wiederholbar wäre. Wenn ein Modell überraschend gute oder schlechte Ergebnisse liefert, will man den Versuch exakt nachstellen. Das gelingt nur, wenn genau dieselben Beispiele in genau derselben Fassung vorliegen. Zu jeder Version gehören außerdem Metadaten, also beschreibende Zusatzangaben: Sprache, Quelle, Lizenz, Erfassungsdatum.

Wo diese Datenlager auftauchen

Am sichtbarsten sind öffentliche Datenlager. Auf der Plattform Hugging Face etwa liegen zehntausende frei zugängliche Datensätze, die jeder herunterladen und durchsuchen kann. Auch Forschungsgruppen an Universitäten veröffentlichen ihre Sammlungen dort. Wer ein kleines Modell selbst trainieren möchte, greift meist auf solche offenen Bestände zurück.

Die großen Anbieter halten ihre Lager dagegen unter Verschluss. Welche Texte in ein bekanntes Sprachmodell geflossen sind, verraten die Firmen oft nur grob. Genau darüber wird gestritten und geklagt. In Wirtschaftsnachrichten taucht der Begriff deshalb häufig im Zusammenhang mit Lizenzverträgen auf: Wenn ein Technologiekonzern einem Zeitungsverlag Geld zahlt, kauft er das Recht, dessen Artikel ins Trainings-Repository aufzunehmen.

Ein verbreiteter Irrtum ist, das Repository sei dasselbe wie das fertige Modell. Beides ist streng getrennt. Das Lager enthält die Beispiele, das Modell enthält nur noch das daraus Gelernte in Form von Zahlenwerten. Man kann aus dem Modell die ursprünglichen Dateien nicht einfach zurückgewinnen. Deshalb bleibt das Datenlager auch nach dem Training bestehen: für Prüfungen, für Korrekturen und für den nächsten Lernvorgang.