Trainingskorpus

Ein Computerprogramm, das Sprache oder Bilder verarbeiten soll, bekommt seine Fähigkeiten nicht von Programmierern eingetippt. Es bekommt stattdessen sehr viele Beispiele vorgelegt und sucht darin selbst nach Mustern. Die gesamte Sammlung dieser Beispiele nennt man Trainingskorpus. Bei Systemen, die Texte schreiben, besteht sie aus Webseiten, Büchern, Zeitungsartikeln, Forenbeiträgen und Programmcode. Der Umfang ist schwer vorstellbar: Moderne Sammlungen enthalten mehrere Billionen Wörter, also mehr, als ein Mensch in tausend Leben lesen könnte. Das Wort Korpus kommt aus der Sprachwissenschaft und bedeutet dort schlicht eine geordnete Textsammlung.

Der Korpus entscheidet, was das Modell kann

Ein System lernt ausschließlich aus dem, was ihm vorgelegt wurde. Fehlt eine Sprache im Korpus fast vollständig, spricht das fertige Modell sie schlecht. Genau das erklärt, warum viele KI-Systeme auf Englisch deutlich souveräner wirken als auf Deutsch oder Finnisch. Der englische Anteil ist in fast allen großen Sammlungen mit Abstand am größten.

Dasselbe gilt für Einseitigkeiten im Inhalt. Wenn in den Texten überwiegend Männer als Ingenieure auftauchen, übernimmt das Modell diese Verknüpfung als Muster. Fachleute sprechen dann von Bias, also einer systematischen Schieflage. Diese Schieflage ist kein Programmierfehler, sondern eine getreue Wiedergabe der Datenlage.

Deshalb ist der Korpus auch juristisch heikel. Zeitungsverlage, Buchautorinnen und Fotoagenturen haben Firmen wie OpenAI verklagt, weil ihre Werke ohne Erlaubnis in Trainingssammlungen landeten. Diese Verfahren gehören zu den wichtigsten Rechtsstreitigkeiten der Branche. Für Anleger ist das relevant, weil ein Urteil ganze Geschäftsmodelle verteuern kann.

Vom Roh-Download zur gefilterten Sammlung

Am Anfang steht meist ein Abzug großer Teile des offenen Internets. Solche Rohdaten sind allerdings unbrauchbar, wenn man sie direkt verwendet. Sie enthalten Werbebanner, Navigationsleisten, Spam und maschinell erzeugten Unsinn. Ein großer Teil der Arbeit besteht daher aus Filtern und Aussortieren.

Ein wichtiger Schritt heißt Deduplizierung: identische oder fast identische Textstücke werden entfernt. Sonst sieht das Modell denselben Absatz tausendfach und lernt ihn auswendig, statt zu verallgemeinern. Zusätzlich filtern Firmen Gewaltdarstellungen, persönliche Daten und rechtlich problematische Inhalte heraus. Was übrig bleibt, ist oft nur ein kleiner Bruchteil des ursprünglichen Materials.

Verbreitet ist ein Vergleich mit dem Kochen: Der Korpus ist die Zutatenliste, das Training das Rezept. Schlechte Zutaten lassen sich durch kein Rezept retten. Genau deshalb hat sich der Fokus der Forschung verschoben. Statt immer mehr Daten zu sammeln, achten Labore zunehmend auf Datenqualität. Kleinere, sorgfältig kuratierte Sammlungen liefern teilweise bessere Ergebnisse als riesige ungefilterte.

Warum Zeitungen und Reddit plötzlich Verträge schließen

In den Wirtschaftsnachrichten taucht das Thema meist als Lizenzdeal auf. Reddit, die Nachrichtenagentur AP und mehrere Verlage haben Verträge mit KI-Firmen geschlossen. Verkauft wird dabei der Zugriff auf ihre Inhalte als Trainingsmaterial. Solche Abschlüsse haben inzwischen einen Umfang von mehreren hundert Millionen Dollar erreicht.

Auch die Politik greift ein. Der AI Act der Europäischen Union verlangt von Anbietern großer Modelle eine Zusammenfassung der verwendeten Trainingsdaten. Bisher halten die meisten Firmen ihre genauen Zusammensetzungen geheim, weil sie darin einen Wettbewerbsvorteil sehen. Ein häufiger Irrtum ist übrigens, das Modell speichere seinen Korpus wie eine Datenbank. Tatsächlich bleiben nur die gelernten Muster übrig, die Originaltexte sind im fertigen Modell nicht abgelegt.

Für dich als Nutzer wird der Korpus dort spürbar, wo ein System an Grenzen stößt. Fragst du nach einem Ereignis von gestern, kennt es die Antwort oft nicht. Der Grund ist der sogenannte Wissensstichtag: Nach einem bestimmten Datum wurden keine Daten mehr gesammelt. Aktuelle Informationen bekommt das Modell nur, wenn es zusätzlich im Netz nachschlagen darf.