
Crawling
Crawling bezeichnet das automatische Durchsuchen des Internets durch ein Programm, das Seite für Seite aufruft, Inhalte speichert und dabei immer neuen Links folgt. Suchmaschinen und KI-Unternehmen nutzen Crawler, um riesige Textmengen zu sammeln – als Grundlage für ihren Index oder ihre Trainingsdaten.
Ein Crawler ist ein Programm, das selbstständig Webseiten besucht. Es lädt eine Seite herunter, liest sie aus und folgt dann den Links, die auf dieser Seite stehen – so hangelt es sich von Seite zu Seite. Dieser Vorgang heißt Crawling. Das Programm selbst wird auch Spider oder Bot genannt. Suchmaschinen wie Google nutzen Crawler, um überhaupt zu wissen, welche Seiten existieren und was auf ihnen steht. Ohne Crawling gäbe es keine Suchergebnisse.
Warum Crawler das Web erst benutzbar machen
Das Internet besteht aus hunderten Milliarden Seiten. Keine Person und kein Team könnte diese Menge manuell sichten. Crawler erledigen das automatisch, rund um die Uhr. Ohne sie wäre das Web ein riesiges Archiv ohne Inhaltsverzeichnis.
Für KI-Unternehmen hat Crawling eine zweite Bedeutung gewonnen. Große Sprachmodelle – also Programme wie ChatGPT, die Texte verstehen und erzeugen – brauchen zum Training enorme Mengen an Text. Dieser Text stammt zu einem großen Teil aus dem öffentlichen Internet und wurde per Crawler gesammelt. Der Datensatz „Common Crawl“ etwa enthält Snapshots von Milliarden Webseiten und wird von vielen KI-Labors als Trainingsgrundlage genutzt.
Crawling entscheidet damit nicht nur, was eine Suchmaschine findet, sondern auch, was ein KI-Modell jemals gelesen hat – und was es deshalb weiß oder nicht weiß.
Wie ein Crawler Seite für Seite vorgeht
Am Anfang steht eine Liste von bekannten Startadressen. Der Crawler ruft die erste Adresse ab und bekommt den HTML-Code der Seite zurück – das ist der Quelltext, aus dem ein Browser eine Webseite aufbaut. Aus diesem Quelltext liest der Crawler alle Links heraus und fügt sie der Warteschlange hinzu. Dann arbeitet er die nächste Adresse ab, und so weiter.
Damit er nicht im Kreis läuft, merkt er sich, welche Adressen er bereits besucht hat. Außerdem kann eine Webseite in einer Datei namens robots.txt festlegen, welche Bereiche der Crawler betreten darf und welche nicht. Viele Websites schließen bestimmte Verzeichnisse aus – etwa den internen Mitgliederbereich – oder sperren einzelne Crawler ganz. Ob Crawler diese Regeln respektieren, ist allerdings ihre eigene Entscheidung; technisch erzwingen lässt sich das nicht.
In der Praxis betreiben große Unternehmen nicht einen einzelnen Crawler, sondern tausende parallel laufende Instanzen auf verteilten Servern. Google gibt an, täglich viele Milliarden Seiten zu crawlen. Die gesammelten Rohdaten werden anschließend indexiert, also so aufbereitet, dass später schnell darin gesucht werden kann.
Wo Crawling in Nachrichten und Produkten auftaucht
In Tech-News taucht Crawling vor allem dann auf, wenn es Streit um Datenrechte gibt. Seit großen Sprachmodellen klar ist, dass ihre Fähigkeiten aus gecrawlten Texten stammen, klagen Verlage und Autoren dagegen, dass ihre Inhalte ohne Vergütung verwendet wurden. Einige große Nachrichtenwebsites haben daraufhin den Zugang für KI-Crawler explizit gesperrt.
Für Unternehmen ist Crawling außerdem ein eigenes Geschäftsfeld. Dienste zur Suchmaschinenoptimierung – also Maßnahmen, damit eine Website in den Ergebnissen weiter oben erscheint – prüfen mit eigenen Crawlern, ob eine Site technisch sauber aufgebaut ist und von Google gut erfasst werden kann.
Auch Preisvergleichsportale und Nachrichtenaggregatoren nutzen Crawling: Sie lesen automatisch Produktpreise oder Schlagzeilen von fremden Seiten aus. Das wirft regelmäßig rechtliche Fragen auf – denn nicht jede technisch mögliche Datenerhebung ist auch erlaubt.