Crawler

Ein Crawler ist ein Programm, das ohne menschliche Hilfe Internetseiten aufruft. Es lädt eine Seite herunter, speichert deren Inhalt und schaut sich die Verweise an, die von dort auf andere Seiten zeigen. Diesen Verweisen folgt es anschließend automatisch, und auf den neuen Seiten beginnt dasselbe wieder von vorn. So arbeitet sich ein Crawler Schritt für Schritt durch Millionen von Seiten. Der Name kommt vom englischen Wort für kriechen: Das Programm kriecht gewissermaßen am Netz der Verweise entlang. Ein anderer gebräuchlicher Name ist Spider, also Spinne, weil sie sich im Netz aus Seiten und Verlinkungen bewegt.

Ohne Crawler keine Suchmaschine und kein Sprachmodell

Wenn du etwas googelst, durchsucht Google nicht das Internet. Google durchsucht seine eigene Kopie des Internets. Diese Kopie hat ein Crawler zusammengetragen, oft Wochen oder Monate vorher. Deshalb sind Suchergebnisse manchmal veraltet: Der Crawler war seit der letzten Änderung noch nicht wieder da.

In den letzten Jahren ist ein zweiter Zweck dazugekommen. Große Sprachmodelle wie ChatGPT lernen aus enormen Textmengen, und diese Texte stammen zu einem großen Teil aus dem offenen Web. Eingesammelt wurden sie von Crawlern. Bekannte Sammlungen wie Common Crawl umfassen Milliarden von Seiten und sind frei verfügbar.

Genau daraus ist ein Streit entstanden. Verlage, Fotografen und Autoren sehen ihre Inhalte in KI-Modellen wieder, ohne dafür bezahlt worden zu sein. Mehrere Medienhäuser haben deshalb geklagt, andere haben Lizenzverträge mit KI-Firmen geschlossen. Wer welche Daten crawlen darf, ist inzwischen ein wirtschaftlich sehr relevantes Thema.

Von der Warteschlange zur höflichen Anfrage

Technisch führt ein Crawler eine lange Warteliste von Adressen. Er nimmt die oberste Adresse, ruft die Seite ab und legt den Text in einem Speicher ab. Alle Verweise, die er in der Seite findet, hängt er hinten an die Warteliste an. Dann kommt die nächste Adresse an die Reihe. Weil das endlos weiterläuft, laufen in der Praxis tausende Crawler-Prozesse gleichzeitig.

Dabei entstehen zwei Probleme. Erstens tauchen dieselben Seiten immer wieder auf, deshalb muss der Crawler sich merken, was er schon besucht hat. Zweitens würde er einen kleinen Webserver in die Knie zwingen, wenn er hunderte Anfragen pro Sekunde schickt. Seriöse Crawler warten deshalb absichtlich zwischen zwei Anfragen an dieselbe Seite.

Außerdem gibt es eine Art Hausordnung. In einer Datei namens robots.txt kann ein Betreiber festlegen, welche Bereiche seiner Seite nicht abgerufen werden sollen. Das ist allerdings nur eine Bitte, keine technische Sperre. Wer sich nicht daran hält, wird meist über andere Wege ausgesperrt, etwa durch eine Blockade der Zugriffsadresse.

Crawler in Nachrichten und im eigenen Alltag

Man merkt selten direkt, dass gerade ein Crawler unterwegs ist. Sichtbar wird er in den Ergebnissen: in Suchtreffern, in Preisvergleichsportalen, in Reiseportalen, die Flugpreise vieler Anbieter nebeneinanderstellen. Auch die kleine Vorschau mit Bild und Titel, die beim Teilen eines Links erscheint, holt ein Programm dieser Art ab.

In Nachrichten begegnen dir Crawler meist unter ihren Namen. GPTBot gehört zu OpenAI, Googlebot zur Google-Suche. Große Nachrichtenseiten haben GPTBot ab 2023 in großer Zahl ausgesperrt. Nach Erhebungen von Forschern blockiert inzwischen ein erheblicher Teil der reichweitenstärksten Nachrichtenseiten mindestens einen KI-Crawler.

Ein häufiger Irrtum: Ein Crawler ist nicht dasselbe wie ein Scraper. Der Crawler entdeckt Seiten und folgt Links. Ein Scraper zieht aus einer bekannten Seite gezielt bestimmte Daten heraus, etwa alle Preise eines Shops. In der Praxis werden beide oft kombiniert, und im Alltagssprachgebrauch verschwimmen die Begriffe.