Crawl-Budget

Suchmaschinen wie Google schicken Programme durchs Internet, die selbstständig Seite für Seite aufrufen und deren Inhalt speichern. Diese Programme heißen Crawler, der Vorgang heißt Crawling. Kein Anbieter kann jede Seite der Welt ständig abrufen, denn das kostet Rechenleistung und belastet fremde Server. Deshalb bekommt jede Website eine Art Kontingent: eine begrenzte Zahl von Abrufen pro Zeitraum. Genau dieses Kontingent nennt man Crawl-Budget. Es ist keine feste Zahl, die irgendwo veröffentlicht wird, sondern ein Wert, den die Suchmaschine laufend selbst anpasst.

Warum große Shops und Nachrichtenseiten darauf achten

Für eine private Website mit dreißig Seiten spielt das Crawl-Budget praktisch keine Rolle. Der Crawler schafft solche Angebote ohnehin vollständig. Interessant wird es ab mehreren zehntausend Adressen. Ein großer Online-Shop mit Millionen Produktseiten kann nie komplett und schon gar nicht täglich abgerufen werden.

Die Folge ist unangenehm konkret: Was nicht gecrawlt wird, kann nicht in den Suchergebnissen erscheinen oder dort aktualisiert werden. Ein Produkt ist längst ausverkauft, aber Google zeigt noch den alten Preis. Ein Nachrichtenartikel von heute Morgen taucht erst am Abend auf. Bei Nachrichten entscheiden solche Verzögerungen darüber, ob ein Text noch Leser findet.

Ein verbreiteter Irrtum ist, das Crawl-Budget sei ein Qualitätsurteil. Das stimmt nicht direkt. Es beschreibt nur, wie oft abgerufen wird, nicht wie gut eine Seite bewertet wird. Allerdings hängt beides zusammen: Seiten, die häufig Neues bringen und viele Verlinkungen von anderen Websites haben, werden öfter besucht.

Woraus sich das Kontingent zusammensetzt

Google beschreibt das Crawl-Budget als Ergebnis von zwei Faktoren. Der erste ist die Belastungsgrenze des Servers. Antwortet eine Website schnell und fehlerfrei, erhöht der Crawler sein Tempo. Wird sie langsam oder liefert Fehlermeldungen, drosselt er sofort. Das ist eine Schutzmaßnahme, damit der Crawler eine Website nicht faktisch lahmlegt.

Der zweite Faktor ist das Interesse der Suchmaschine. Beliebte, oft aktualisierte und gut verlinkte Seiten werden häufiger geprüft als Adressen, die sich seit Jahren nicht verändert haben. Man kann sich das wie eine Zeitungsredaktion mit begrenzter Zahl an Reportern vorstellen. Sie schickt jemanden dorthin, wo Neues zu erwarten ist, nicht immer wieder ins gleiche leere Archiv.

Verschwendet wird Budget vor allem durch überflüssige Adressen. Typische Beispiele sind Filter- und Sortier-Links in Shops, die aus einer Produktliste tausende fast identische Varianten machen. Dazu kommen Weiterleitungsketten, defekte Links und Seiten mit doppeltem Inhalt. Betreiber steuern dagegen mit einer Datei namens robots.txt, die bestimmte Bereiche für Crawler sperrt, und mit einer Sitemap, also einem Verzeichnis der wirklich wichtigen Adressen.

Wo der Begriff in der Praxis auftaucht

Am direktesten begegnet man dem Thema in der Google Search Console, einem kostenlosen Werkzeug für Website-Betreiber. Dort gibt es einen Bericht mit Crawling-Statistiken: Er zeigt, wie viele Anfragen der Crawler pro Tag gestellt hat und wie schnell der Server antwortete. Aus solchen Kurven lesen Fachleute ab, ob ein Problem am Server liegt oder an der Struktur der Website.

Im Berufsfeld Suchmaschinenoptimierung, kurz SEO, gehört das Crawl-Budget zur sogenannten technischen Optimierung. Dort geht es nicht um Texte, sondern um Ladezeiten, Verlinkung und Serverantworten. Große Verlage und Handelsunternehmen beschäftigen dafür eigene Spezialisten.

Neu diskutiert wird das Thema, seit auch Anbieter von KI-Systemen eigene Crawler betreiben, um Trainingsdaten zu sammeln. Manche Websites melden dadurch deutlich mehr automatische Zugriffe als früher. Betreiber müssen nun entscheiden, welchen Programmen sie Zugang gewähren. Der Streit darüber ist inzwischen ein regelmäßiges Thema in den Wirtschaftsnachrichten.