Pay-per-Crawl
Pay-per-Crawl bedeutet: Wer automatisiert Texte und Bilder von einer Website einsammelt, muss dafür bezahlen. Betreiber von Websites wollen so Geld von KI-Unternehmen verlangen, die ihre Inhalte für das Training von Programmen nutzen.
Große Teile des Internets werden ständig von Programmen abgesucht, die selbstständig Seite für Seite aufrufen und den Inhalt speichern. Solche Programme heißen Crawler. Bisher war dieses Absuchen fast immer kostenlos: Eine Website stand offen im Netz, und jeder durfte sie lesen, auch eine Maschine. Pay-per-Crawl dreht das um. Der Betreiber der Website verlangt für jeden dieser automatisierten Abrufe Geld, oder er blockiert den Zugriff, wenn nicht gezahlt wird. Menschen, die die Seite ganz normal im Browser lesen, sind davon nicht betroffen.
Der Streit um bezahlte Inhalte im Netz
Der Hintergrund ist ein handfester Konflikt. Zeitungen, Foren und Lexika haben ihre Texte über Jahre selbst erstellt und bezahlt. KI-Firmen sammeln diese Texte ein und nutzen sie als Lernmaterial für Chatbots. Anschließend beantwortet der Chatbot die Frage direkt, und niemand klickt mehr auf die ursprüngliche Seite.
Für viele Medien ist das ein existenzielles Problem. Ihr Geschäftsmodell beruht darauf, dass Menschen ihre Seite besuchen und dort Werbung sehen oder ein Abo abschließen. Bleiben die Besucher weg, bricht die Einnahmequelle weg, obwohl der Inhalt weiter genutzt wird. Pay-per-Crawl soll aus dem Datensammeln wieder ein Geschäft machen, bei dem beide Seiten etwas bekommen.
Umgekehrt argumentieren KI-Unternehmen, dass ein bezahlpflichtiges Netz teuer und unübersichtlich würde. Kleine Anbieter könnten sich die Gebühren womöglich nicht leisten. Damit hätten die größten Konzerne einen weiteren Vorteil, weil nur sie flächendeckend zahlen können.
Türsteher zwischen Crawler und Server
Technisch braucht es zuerst eine Erkennung. Jeder Abruf einer Website hinterlässt Spuren: eine Netzwerkadresse und eine Kennung des Programms, das anfragt. Bekannte Crawler großer KI-Firmen lassen sich daran ziemlich zuverlässig identifizieren. Ein Dienst zwischen dem Besucher und dem eigentlichen Server prüft jede Anfrage, bevor sie durchgeht.
Erkennt dieser Dienst einen Crawler ohne Bezahlvereinbarung, liefert er den Inhalt nicht aus. Stattdessen antwortet er mit einem Statuscode, der so viel bedeutet wie: Zahlung erforderlich. Der Crawler kann daraufhin einen Preis akzeptieren, und der Betrag wird abgerechnet. Der Anbieter Cloudflare hat ein solches System 2025 eingeführt und schaltet KI-Crawler bei neuen Kunden standardmäßig ab.
Wichtig ist die Abgrenzung zu einem älteren Verfahren. In der Datei robots.txt kann eine Website seit Jahrzehnten notieren, welche Crawler sie nicht haben will. Das ist aber nur eine höfliche Bitte ohne technische Wirkung. Pay-per-Crawl setzt die Regel dagegen durch, weil der Inhalt ohne Zahlung schlicht nicht ausgeliefert wird.
Was das für Nutzer und Märkte bedeutet
Direkt sichtbar ist Pay-per-Crawl kaum. Wer eine Nachrichtenseite aufruft, merkt nichts davon. Spürbar wird es indirekt, etwa wenn ein Chatbot bei aktuellen Themen ausweichend antwortet, weil er auf bestimmte Quellen nicht mehr zugreifen darf.
In Wirtschaftsnachrichten taucht der Begriff dagegen häufig auf. Verlage wie die New York Times oder Axel Springer verhandeln über Lizenzverträge mit KI-Anbietern, teils über mehrere Millionen Euro pro Jahr. Pay-per-Crawl ist die automatisierte Variante davon: statt eines großen Vertrags viele kleine Abrechnungen. Reddit, Stack Overflow und Getty Images haben ähnliche Wege eingeschlagen.
Ein verbreiteter Irrtum ist, dass damit alle Urheberrechtsfragen geklärt wären. Pay-per-Crawl regelt nur den technischen Zugriff, nicht die rechtliche Frage, ob Training mit fremden Texten überhaupt erlaubt ist. Diese Frage beschäftigt Gerichte in den USA und Europa weiterhin. Beides läuft parallel und beeinflusst sich gegenseitig.