Deduplizierung

Wer sehr große Datenmengen sammelt, sammelt zwangsläufig auch Doppeltes ein. Derselbe Zeitungsartikel steht auf zwanzig Webseiten. Dasselbe Foto liegt in drei Ordnern. Deduplizierung ist der Vorgang, bei dem solche Kopien erkannt und bis auf ein Exemplar entfernt werden. Der Begriff kommt aus dem Lateinischen: "duplex" heißt doppelt, die Vorsilbe "de" bedeutet weg damit. Verwendet wird das Wort in zwei Bereichen: beim Aufräumen von Daten, aus denen ein Computerprogramm lernen soll, und bei der Speicherung von Dateien auf Festplatten.

Warum Modelle an Dubletten ersticken

Moderne Sprachmodelle lernen aus riesigen Textmengen, die größtenteils aus dem Internet stammen. Solche Sammlungen enthalten sehr viel Redundanz. Nachrichtenagenturen liefern denselben Text an hunderte Portale. Rechtstexte, Impressen und Cookie-Hinweise wiederholen sich millionenfach. Untersuchungen an bekannten Datensätzen haben gezeigt, dass ein spürbarer Anteil der Texte mehrfach vorkommt.

Für das Training ist das schädlich. Was ein Modell besonders oft sieht, prägt es sich besonders gut ein. Bei Dubletten heißt das: Das Modell lernt einzelne Textstellen auswendig, statt allgemeine Muster der Sprache zu erfassen. Es kann dann ganze Absätze wortwörtlich wiedergeben. Das ist rechtlich heikel und aus Datenschutzsicht gefährlich, wenn in dem Text personenbezogene Angaben stecken.

Dazu kommt ein reines Kostenargument. Rechenzeit auf spezialisierten Grafikchips ist teuer. Wenn zehn Prozent der Trainingsdaten Kopien sind, verbrennt man zehn Prozent des Budgets für Inhalte, die das Modell schon kennt. Ein weiterer Punkt betrifft die Bewertung: Taucht ein Testbeispiel versehentlich auch im Trainingsmaterial auf, wirkt das Modell im Test besser, als es ist. Fachleute nennen das Datenleck.

Von exakten Kopien zu fast gleichen Texten

Der einfachste Fall sind exakte Kopien. Dafür berechnet man zu jeder Datei eine Art Fingerabdruck, eine kurze Zahlenfolge, die sich aus dem Inhalt ergibt. Zwei identische Inhalte liefern denselben Fingerabdruck. Man muss also nicht Datei gegen Datei vergleichen, sondern nur kurze Zahlen in einer Liste nachschlagen. Das funktioniert auch bei Milliarden Dokumenten noch schnell.

Schwieriger sind Fast-Dubletten. Zwei Artikel sind zu 95 Prozent gleich, unterscheiden sich aber in der Überschrift oder in einem Werbebanner am Ende. Ihre Fingerabdrücke sind dann völlig verschieden. Hier arbeitet man mit Verfahren, die einen Text in viele überlappende Wortgruppen zerlegen und die Überschneidung zweier Texte schätzen. Das bekannteste heißt MinHash. Liegt die geschätzte Überschneidung über einer festgelegten Schwelle, gilt der Text als Dublette.

Diese Schwelle ist eine Abwägung. Setzt man sie zu streng, wirft man Texte weg, die nur zufällig ähnlich klingen, etwa zwei Wetterberichte. Setzt man sie zu locker, bleibt Redundanz übrig. In der Speichertechnik läuft das Prinzip ähnlich, nur auf Blockebene: Eine Festplatte zerlegt Dateien in kleine Stücke und legt jedes Stück nur einmal ab. Kommt es erneut vor, speichert das System bloß einen Verweis darauf.

Dedup im Rechenzentrum und im Handy

Am sichtbarsten ist Deduplizierung in der Fotoverwaltung des Smartphones. Sie erkennt Serienaufnahmen und identische Bilder und schlägt vor, sie zu löschen. Auch Cloud-Speicher nutzen das Prinzip: Laden tausend Nutzer dasselbe Musikstück hoch, liegt es beim Anbieter oft nur ein einziges Mal auf der Platte. Backup-Systeme in Firmen sparen so regelmäßig große Teile ihres Speicherbedarfs, weil sich zwischen zwei Sicherungen meist nur wenig ändert.

In KI-Nachrichten begegnet dir der Begriff meist im Zusammenhang mit Datensätzen. Wenn ein Labor die Herkunft seiner Trainingsdaten beschreibt, ist Deduplizierung fast immer als Verarbeitungsschritt genannt, neben Sprachfilterung und dem Aussortieren von Spam. Häufig steht dabei eine Zahl, wie viel Prozent der ursprünglichen Datenmenge übrig blieb.

Ein verbreiteter Irrtum ist, Deduplizierung sei bloß Kosmetik. Tatsächlich zeigen Experimente, dass entdoppelte Datensätze bei gleicher Menge zu besseren Modellen führen. Zu unterscheiden ist der Begriff von Kompression: Kompression verkleinert eine einzelne Datei, indem sie Muster in ihrem Inneren geschickter kodiert. Deduplizierung schaut dagegen über viele Dateien hinweg und entfernt Wiederholungen zwischen ihnen. In der Praxis kombiniert man beides.