Googlebot

Googlebot ist ein Programm der Firma Google, das ohne menschliches Zutun Internetseiten aufruft. Es verhält sich dabei ähnlich wie ein Mensch mit einem Browser: Es fordert eine Seite an, lädt Texte und Bilder und speichert eine Kopie. Anschließend folgt es den Verweisen auf dieser Seite, den Links, und ruft die nächsten Seiten auf. So arbeitet es sich Schritt für Schritt durch das Netz und findet dabei ständig neue Adressen. Alles, was es einsammelt, landet in Googles riesigem Verzeichnis aller bekannten Seiten. Genau dieses Verzeichnis wird durchsucht, wenn jemand etwas bei Google eingibt.

Ohne Besuch keine Fundstelle

Eine Suchmaschine durchsucht nicht das echte Internet, sondern ihre eigene gespeicherte Kopie davon. Was Googlebot nie besucht hat, existiert für die Suche schlicht nicht. Für Betreiber von Webseiten ist das eine harte Regel: Sichtbarkeit bei Google beginnt damit, dass der Bot überhaupt vorbeikommt. Deshalb ist er für Online-Shops, Nachrichtenseiten und Blogs so wichtig wie die Öffnungszeit für ein Ladengeschäft.

Auch die Aktualität hängt an ihm. Eine Nachrichtenseite, die stündlich neue Artikel veröffentlicht, will schnell wieder besucht werden. Eine Seite mit dem Impressum einer Zahnarztpraxis ändert sich dagegen jahrelang nicht. Googlebot verteilt seine Besuche entsprechend ungleich: häufig genutzte und oft aktualisierte Seiten sieht er teils mehrmals täglich, andere nur alle paar Wochen.

Für viele Unternehmen ist das ein wirtschaftliches Thema. Wer weit oben in den Suchergebnissen steht, bekommt deutlich mehr Besucher als der Rest. Die gesamte Branche der Suchmaschinenoptimierung beschäftigt sich damit, Seiten so zu bauen, dass Googlebot sie leicht lesen und einordnen kann.

Vom Link zur Warteschlange

Googlebot führt eine lange Liste von Adressen, die er noch abarbeiten will. Aus dieser Warteschlange nimmt er eine Adresse, ruft die Seite ab und schreibt alle darin gefundenen Links wieder hinten an. Ein Teil der Adressen stammt außerdem aus sogenannten Sitemaps. Das sind Dateien, in denen ein Seitenbetreiber selbst auflistet, welche Unterseiten es gibt.

Moderne Webseiten bestehen oft nicht aus fertigem Text, sondern werden erst im Browser durch Programmcode zusammengesetzt. Googlebot muss diesen Code deshalb ausführen, so wie es ein echter Browser tut. Erst danach sieht er den fertigen Inhalt. Dieser Schritt kostet viel Rechenzeit und passiert manchmal erst verzögert.

Der Bot besucht nicht unbegrenzt oft. Er hält sich an ein Tempolimit, damit er den Server einer Seite nicht überlastet. Außerdem beachtet er eine Datei namens robots.txt, in der Betreiber festlegen können, welche Bereiche er nicht anfassen soll. Ein häufiger Irrtum: Eine dort gesperrte Seite kann trotzdem in den Suchergebnissen auftauchen, wenn andere Seiten auf sie verlinken. Wer eine Seite wirklich aus der Suche halten will, braucht dafür eine eigene Anweisung im Seitenkopf.

Spuren im Serverprotokoll und in den News

Jeder Zugriff auf eine Webseite wird vom Server mitgeschrieben. Googlebot hinterlässt dort einen erkennbaren Namen, an dem Betreiber seine Besuche ablesen können. Über das kostenlose Werkzeug Google Search Console sieht man zusätzlich, welche eigenen Seiten aufgenommen wurden und wo es Probleme gab. Wer eine eigene Website betreibt, begegnet dem Bot also ganz praktisch.

In Nachrichten taucht Googlebot vor allem im Streit um Inhalte auf. Verlage und Foren diskutieren, ob und zu welchen Bedingungen ihre Texte eingelesen werden dürfen. Verschärft hat sich das, seit Google eigene Bots für das Training von KI-Modellen betreibt. Diese haben andere Namen als Googlebot und lassen sich getrennt sperren, was für viele Anbieter ein wichtiger Unterschied ist.

Googlebot ist außerdem nicht allein unterwegs. Bing, DuckDuckGo und zahlreiche KI-Firmen schicken eigene Programme durchs Netz. Ein spürbarer Teil des weltweiten Datenverkehrs entsteht durch solche automatischen Besucher und nicht durch Menschen.