Training-Corpus

Ein Computerprogramm, das Sprache verarbeitet, bekommt seine Fähigkeiten nicht von Programmierern eingetippt. Es liest stattdessen riesige Mengen an Material und leitet daraus Muster ab. Diese gesammelte Materialmenge heißt Training-Corpus. Das Wort Corpus kommt aus der Sprachwissenschaft und bedeutet dort schlicht: eine geordnete Sammlung von Texten. Bei modernen Sprachprogrammen besteht so eine Sammlung typischerweise aus Webseiten, digitalisierten Büchern, Nachrichtenartikeln, Programmcode und Diskussionen aus Foren. Man kann sich den Corpus als die Bibliothek vorstellen, die ein System einmal komplett durchgearbeitet hat, bevor es überhaupt eine Frage beantwortet.

Der Corpus entscheidet, was ein Modell weiß

Ein KI-System kann nichts, was nicht in irgendeiner Form in seinen Daten steckte. Wenn ein Corpus fast nur englische Texte enthält, wird das Ergebnis auf Deutsch merklich schwächer sein. Enthält er kaum medizinische Fachliteratur, sind medizinische Antworten oberflächlich. Die Auswahl der Daten ist damit keine technische Nebensache, sondern die wichtigste inhaltliche Entscheidung überhaupt.

Genauso überträgt sich, was schiefliegt. Enthält der Corpus überwiegend Texte, in denen bestimmte Berufe nur Männern zugeschrieben werden, übernimmt das Modell diese Schieflage. Fachleute sprechen dann von Bias, also einer systematischen Verzerrung. Auch schlicht falsche Behauptungen aus dem Internet landen im Corpus und können später als Antwort wieder auftauchen.

Dazu kommt ein rechtlicher Streitpunkt. Viele Texte und Bilder im Netz sind urheberrechtlich geschützt. Ob man sie ohne Erlaubnis in einen Corpus aufnehmen darf, ist in mehreren Ländern Gegenstand von Gerichtsverfahren. Verlage, Musiklabels und Fotoagenturen haben deshalb Klagen gegen KI-Firmen eingereicht.

Vom Rohdatenberg zur nutzbaren Sammlung

Am Anfang steht meist ein automatisiertes Absuchen des Internets. Programme, sogenannte Crawler, folgen Links und speichern Seiteninhalte ab. Das Ergebnis ist ein gewaltiger, sehr unordentlicher Datenberg. Ein großer Teil davon ist unbrauchbar: Werbeblöcke, Navigationsleisten, Spam, automatisch erzeugter Unsinn.

Deshalb folgt eine Filterung in mehreren Stufen. Doppelte Texte werden entfernt, denn identische Passagen tausendfach zu lernen verzerrt das Ergebnis. Seiten mit sehr niedriger Qualität fliegen raus, oft mithilfe eines kleinen Hilfsprogramms, das Text bewertet. Persönliche Daten wie Adressen oder Telefonnummern werden gesucht und gelöscht. Am Ende bleibt von der ursprünglichen Datenmenge häufig nur ein kleiner Bruchteil übrig.

Gemessen wird die Größe eines Corpus meist in Tokens. Ein Token ist ein Wortbaustein, ungefähr drei Viertel eines durchschnittlichen Wortes. Große Sprachmodelle werden heute mit mehreren Billionen Tokens trainiert. Zum Vergleich: Die gesamte deutschsprachige Wikipedia liegt im Bereich weniger Milliarden Tokens, ist also nur ein winziger Anteil davon. Ein verbreiteter Irrtum ist, dass mehr Daten immer besser sind. Ab einem gewissen Punkt bringt sauberes, vielfältiges Material deutlich mehr als schiere Masse.

Wenn der Corpus in den Nachrichten auftaucht

Öffentlich bekannte Sammlungen tragen Namen wie Common Crawl, ein frei verfügbares Archiv von Milliarden Webseiten, oder The Pile, eine kuratierte Textsammlung für Forschungszwecke. Wenn in Meldungen steht, ein Modell sei mit fünfzehn Billionen Tokens trainiert worden, ist damit die Größe seines Corpus gemeint. Bei kommerziellen Systemen bleibt die genaue Zusammensetzung dagegen oft ein Geschäftsgeheimnis.

Auch im Alltag begegnet dir das Thema. Wenn ein Chatbot nichts über Ereignisse der letzten Monate weiß, liegt das an einem Stichtag im Corpus. Nach diesem Datum wurden keine Daten mehr gesammelt. Und wenn Plattformen wie Reddit oder Zeitungsverlage Verträge mit KI-Firmen schließen, geht es genau darum: um bezahlten Zugang zu Material für künftige Trainingssammlungen.