Content Moderation
Content Moderation ist die Kontrolle von Inhalten, die Nutzer auf einer Plattform hochladen. Menschen und Software prüfen dabei, ob ein Beitrag gegen Gesetze oder die Regeln der Plattform verstößt, und löschen ihn im Zweifel.
Auf großen Internetplattformen laden Nutzer jede Minute riesige Mengen an Texten, Bildern und Videos hoch. Ein Teil davon ist verboten oder unerwünscht: Gewaltvideos, Betrugsmaschen, Hetze gegen Menschengruppen, gestohlene Filme. Content Moderation ist die Arbeit, genau diese Inhalte zu finden und zu entfernen. Zuständig sind einerseits Programme, die Beiträge automatisch prüfen, andererseits bezahlte Prüferinnen und Prüfer, die sich strittige Fälle ansehen. Die Grundlage sind zwei Regelwerke: die Gesetze des jeweiligen Landes und die selbst gesetzten Regeln der Plattform, oft Community-Richtlinien genannt. Wer gegen sie verstößt, dessen Beitrag wird gelöscht, weniger Leuten angezeigt oder mit einem Warnhinweis versehen.
Zwischen Löschwut und Müllhalde
Ohne Moderation wird eine Plattform binnen kurzer Zeit unbenutzbar. Werbespam, Betrugsanzeigen und Belästigung verdrängen normale Beiträge, weil sie sich billig in Massen produzieren lassen. Kein Werbekunde will seine Anzeige neben einem Enthauptungsvideo sehen. Moderation ist deshalb für die Betreiber kein Idealismus, sondern eine Bedingung dafür, dass das Geschäft überhaupt funktioniert.
Gleichzeitig entscheiden private Unternehmen hier darüber, was Millionen Menschen zu sehen bekommen. Löschen sie zu viel, verschwinden legitime Meinungen, Satire oder Berichte aus Kriegsgebieten. Löschen sie zu wenig, bleiben Hetze und Desinformation stehen. Beide Fehlerrichtungen lassen sich nicht gleichzeitig auf null bringen: Wer strenger filtert, erwischt mehr echte Verstöße, aber auch mehr Unschuldige. Diese Abwägung ist der Kern fast jeder öffentlichen Debatte über das Thema.
Hinzu kommt der Preis für die Menschen, die diese Arbeit machen. Moderatorinnen und Moderatoren sichten stundenlang Material, das andere nie sehen sollen. Berichte über psychische Belastungen und Klagen gegen Dienstleister haben das Thema in den vergangenen Jahren immer wieder in die Nachrichten gebracht.
Filter, Warteschlange, Widerspruch
In der Regel arbeitet Moderation in mehreren Stufen. Zuerst prüft Software jeden neuen Beitrag. Bei bekanntem Material wie einem bereits gesperrten Video hilft ein digitaler Fingerabdruck: Aus der Datei wird eine kurze Kennzahl berechnet, die mit einer Liste bekannter Verstöße verglichen wird. Bei neuen Inhalten schätzt ein trainiertes KI-Modell ab, wie wahrscheinlich ein Verstoß vorliegt. Es hat vorher an vielen von Menschen bewerteten Beispielen gelernt, wie etwa eine Beleidigung typischerweise aussieht.
Klare Fälle entfernt das System sofort. Unsichere Fälle landen in einer Warteschlange für Menschen, ebenso alles, was Nutzer selbst melden. Ein Mensch schaut sich den Beitrag an und entscheidet nach einem oft hunderte Seiten langen Handbuch. Für Entscheidungen gibt es meist ein Widerspruchsverfahren, in dem der Fall erneut geprüft wird.
Ein verbreiteter Irrtum ist, dass die Software den Sinn eines Beitrags versteht. Sie erkennt Muster, keinen Kontext. Ein Zitat, das Hetze kritisiert, enthält dieselben Wörter wie die Hetze selbst. Genau deshalb bleiben Menschen in der Schleife, obwohl automatische Systeme den Großteil der Masse abfangen.
Von TikTok bis zum Digital Services Act
Jeder gemeldete Kommentar, jeder verschwundene Beitrag und jeder Warnhinweis unter einem Video ist Content Moderation in Aktion. Auch Spamfilter im Mailpostfach und die Regeln in Onlinespielen gehören dazu. Wer auf einer Plattform selbst Beiträge freischaltet, etwa in einer Schulgruppe oder einem Forum, macht im Kleinen dasselbe.
In der EU regelt seit 2024 der Digital Services Act, kurz DSA, wie große Plattformen damit umgehen müssen. Sie müssen Meldewege anbieten, Löschungen begründen, Widerspruch ermöglichen und regelmäßig Berichte über ihre Entscheidungen veröffentlichen. Bei Verstößen drohen Bußgelder in Höhe von bis zu sechs Prozent des weltweiten Jahresumsatzes.
In Wirtschaftsnachrichten taucht der Begriff meist aus zwei Gründen auf: Entweder ein Unternehmen kürzt bei den Moderationsteams und ersetzt sie durch KI, oder eine Aufsichtsbehörde eröffnet ein Verfahren wegen zu laxer Kontrolle. Beides bewegt Aktienkurse, weil es direkt an den Werbeeinnahmen und an möglichen Strafzahlungen hängt.