Crawl-to-Refer-Verhältnis
Das Crawl-to-Refer-Verhältnis vergleicht, wie oft ein Programm eines Suchmaschinen- oder KI-Anbieters eine Website automatisch ausliest, mit der Zahl der Besucher, die dieser Anbieter im Gegenzug schickt. Es ist zur zentralen Kennzahl in der Debatte darüber geworden, ob KI-Anbieter Verlage fair behandeln.
Große Anbieter wie Google oder OpenAI lassen Programme durchs Internet laufen, die Webseiten automatisch lesen und speichern. Solche Programme heißen Crawler. Ihre Ausbeute landet in Suchmaschinen oder dient als Lernstoff für KI-Systeme. Umgekehrt schicken dieselben Anbieter Menschen auf die Websites zurück, etwa wenn jemand ein Suchergebnis anklickt. Diese zurückgeschickten Besucher nennt man Referrals. Das Crawl-to-Refer-Verhältnis stellt beide Zahlen gegenüber: Wie viele Seitenabrufe durch den Crawler kommen auf einen einzigen echten Besucher?
Warum Verlage über diese Zahl streiten
Für Websites, die von Werbung oder Abos leben, ist Besucherverkehr bares Geld. Jahrzehntelang galt ein stillschweigender Handel: Die Suchmaschine darf lesen und indexieren, dafür liefert sie Leser. Beide Seiten profitierten. Das Crawl-to-Refer-Verhältnis misst nun, ob dieser Handel noch aufgeht.
Die veröffentlichten Zahlen zeigen deutliche Unterschiede zwischen den Anbietern. Bei der klassischen Google-Suche kamen lange etwa ein paar Dutzend Abrufe auf einen Besucher. Für Crawler von KI-Anbietern nannte der Infrastrukturdienstleister Cloudflare 2025 dagegen Werte im Bereich von mehreren hundert bis über tausend Abrufen pro Besucher. Der Grund liegt auf der Hand: Ein Chatbot fasst die Antwort selbst zusammen. Der Nutzer klickt dann seltener auf die Quelle.
Ein hohes Verhältnis bedeutet also: Die Website liefert viel Inhalt und bekommt wenig zurück. Verlage nutzen die Kennzahl deshalb als Argument in Verhandlungen über Lizenzgebühren. Manche verwenden sie auch, um zu entscheiden, welche Crawler sie überhaupt noch auf ihre Server lassen.
Wie die Zahl zustande kommt
Jeder Server führt ein Protokoll über alle Zugriffe. Darin steht bei jedem Abruf ein Kennzeichen, der sogenannte User-Agent. Crawler geben sich dort mit einem festen Namen zu erkennen, etwa GPTBot oder Googlebot. Man zählt also einfach die Zeilen mit diesem Namen.
Die Besucher zählt man über den Referrer. Das ist die Angabe im Protokoll, von welcher Seite ein Nutzer gekommen ist. Steht dort eine Adresse von ChatGPT, war es ein Referral von OpenAI. Teilt man beide Zahlen, ergibt sich das Verhältnis, meist als « X:1 » geschrieben.
Die Kennzahl ist allerdings gröber, als sie wirkt. Manche Crawler sammeln Trainingsdaten, andere holen nur eine einzelne Seite für eine aktuelle Anfrage. Beides fließt in dieselbe Zahl. Außerdem tarnen sich manche Programme als normale Browser und tauchen gar nicht auf. Und wer eine Antwort im Chatbot liest, ohne zu klicken, hat die Marke trotzdem wahrgenommen. Dieser Wert lässt sich nicht messen.
Wo die Kennzahl auftaucht
Am häufigsten begegnet einem die Zahl in Nachrichten über den Konflikt zwischen Medienhäusern und KI-Firmen. Cloudflare, das für einen großen Teil aller Websites den Datenverkehr abwickelt, veröffentlicht regelmäßig entsprechende Auswertungen. Diese Werte tauchen dann in Berichten über Klagen und Lizenzdeals wieder auf.
Praktisch wirkt sich das auch technisch aus. Websites steuern über eine Datei namens robots.txt, welche Crawler sie zulassen. Wer ein sehr ungünstiges Verhältnis feststellt, sperrt einzelne KI-Crawler dort aus. Cloudflare bietet seit 2025 zusätzlich Bezahlmodelle an, bei denen Crawler pro Abruf zahlen.
Wichtig ist die Abgrenzung zu ähnlichen Begriffen. Die Klickrate misst, wie viele Menschen ein angezeigtes Ergebnis anklicken. « Zero-Click-Suche » beschreibt Suchanfragen ganz ohne Weiterklicken. Das Crawl-to-Refer-Verhältnis dagegen betrachtet ausdrücklich das Tauschgeschäft: Rechenlast und Inhalt auf der einen Seite, Besucher auf der anderen.