Web-Crawler

Ein Web-Crawler ist ein Programm, das selbstständig Internetseiten aufruft und ihren Inhalt speichert. Es arbeitet dabei wie ein extrem schneller Leser, der nie müde wird. Auf jeder Seite sammelt es die enthaltenen Verweise auf andere Seiten ein, also die anklickbaren Links. Diese Adressen kommen auf eine Warteliste, und das Programm ruft sie nacheinander ebenfalls ab. Auf diese Weise hangelt es sich von Seite zu Seite durch das Netz und kann in kurzer Zeit Millionen von Adressen besuchen. Kein Mensch sitzt dabei am Bildschirm und klickt mit.

Ohne Crawler keine Suchmaschine

Wenn du etwas googelst, durchsucht Google nicht das Internet. Es durchsucht eine eigene Kopie davon. Diese Kopie heißt Index und wurde vorher von Crawlern zusammengetragen. Nur deshalb kommt ein Suchergebnis in Sekundenbruchteilen. Eine Seite, die nie von einem Crawler besucht wurde, taucht in den Ergebnissen schlicht nicht auf.

Seit einigen Jahren gibt es einen zweiten großen Grund. KI-Sprachmodelle wie ChatGPT lernen aus riesigen Mengen Text, und dieser Text stammt zu großen Teilen aus dem offenen Web. Auch er wurde von Crawlern eingesammelt. Bekannte Sammlungen wie Common Crawl umfassen Milliarden von Seiten. Damit sind Crawler zur Rohstoffbeschaffung der KI-Branche geworden.

Genau daraus ist ein Streit entstanden. Zeitungen, Foren und Bildplattformen sehen ihre Inhalte kostenlos abgegriffen und in Produkten verwertet, an denen sie nichts verdienen. Mehrere Verlage haben deshalb geklagt, andere haben Lizenzverträge mit KI-Firmen abgeschlossen. Auf Finanz- und Techseiten steht der Begriff also meist im Zusammenhang mit Urheberrecht und Geld, nicht mit Technik.

Von der Warteliste zum Index

Der Ablauf ist im Kern einfach. Der Crawler startet mit einer Liste bekannter Adressen. Er lädt die erste Seite herunter, speichert den Text und liest alle Links heraus. Neue Adressen kommen hinten auf die Warteliste, bereits besuchte werden aussortiert. Dann geht es mit der nächsten Adresse weiter, und zwar in tausenden Vorgängen gleichzeitig.

Schwierig wird es bei der Priorisierung. Das Web ist praktisch unendlich, und viele Seiten ändern sich täglich. Der Crawler muss also entscheiden, was er zuerst holt und wie oft er zurückkommt. Eine Nachrichtenstartseite wird vielleicht mehrmals pro Stunde besucht, eine alte Hobbyseite einmal im Jahr. Außerdem muss er Tempo halten, ohne fremde Server zu überlasten.

Es gibt eine freiwillige Verkehrsregel dafür. In der Datei robots.txt kann jede Website eintragen, welche Bereiche Bots nicht abrufen sollen. Seriöse Crawler halten sich daran, technisch erzwingbar ist es aber nicht. Ein verbreiteter Irrtum ist deshalb, robots.txt sei ein Schutz. Sie ist eher ein Schild, das man auch ignorieren kann.

Wo Crawler im Alltag auftauchen

Du begegnest Crawlern ständig, ohne sie zu sehen. Preisvergleichsportale lesen damit die aktuellen Angebote der Shops aus. Reiseportale sammeln Flugpreise ein. Auch die kleine Vorschau mit Bild und Titel, die beim Teilen eines Links in einem Chat erscheint, stammt von einem automatischen Abruf der Seite.

Betreiber von Websites sehen die Crawler in ihren Zugriffsprotokollen. Dort steht ein Name wie Googlebot, Bingbot oder GPTBot. Viele Seiten sperren inzwischen gezielt die Bots von KI-Firmen aus, lassen die klassischen Suchmaschinen aber weiter herein. Denn Suchmaschinen liefern Besucher zurück, KI-Chatbots bislang deutlich seltener.

Abgrenzen sollte man zwei Begriffe, die oft vermischt werden. Crawling heißt, Seiten systematisch zu finden und abzurufen. Scraping heißt, aus einer Seite gezielt bestimmte Daten herauszulösen, etwa alle Preise einer Tabelle. In der Praxis laufen beide Schritte häufig zusammen, gemeint ist aber nicht dasselbe.