robots.txt
robots.txt ist eine kleine Textdatei auf einer Website, die automatischen Programmen mitteilt, welche Seiten sie abrufen dürfen und welche nicht. Sie ist nur eine Bitte, keine technische Sperre – wer sie ignoriert, kommt trotzdem an die Inhalte.
Im Internet sind ständig Programme unterwegs, die Websites automatisch abrufen und ihren Inhalt speichern. Solche Programme nennt man Crawler oder Bots. Suchmaschinen brauchen sie, um zu wissen, welche Seiten es überhaupt gibt. Die Datei robots.txt ist eine einfache Textdatei, die ein Website-Betreiber ganz oben in seinem Verzeichnis ablegt. Darin steht, welche Bereiche seiner Seite diese Programme abrufen sollen und welche nicht. Man findet sie immer an derselben Stelle: hinter der Adresse der Website, gefolgt von einem Schrägstrich und dem Dateinamen, also zum Beispiel beispiel.de/robots.txt.
Ein Hausordnungsschild ohne Türschloss
Die Datei funktioniert wie ein Schild am Eingang: „Bitte nicht in den Keller gehen.“ Wer sich daran hält, entscheidet der Besucher selbst. Technisch verhindert die Datei nichts. Jede Seite, die in der robots.txt als verboten markiert ist, bleibt für jeden normalen Browser weiterhin abrufbar. Wer Inhalte wirklich schützen will, braucht ein Passwort oder eine Zugangssperre auf dem Server.
Trotzdem ist die Datei seit den 1990er-Jahren ein wichtiger Teil des Netzes. Große Suchmaschinen halten sich freiwillig daran, weil sie ihren Ruf nicht riskieren wollen. Betreiber nutzen sie außerdem, um Serverlast zu senken. Ein Bot, der jede Sekunde tausend Seiten abruft, kann eine kleine Website spürbar ausbremsen.
Seit dem Boom der Sprach-KI ist die Datei politisch geworden. Firmen wie OpenAI oder Anthropic sammeln riesige Textmengen aus dem Netz, um ihre Modelle zu trainieren. Viele Zeitungen und Verlage wollen das nicht ohne Bezahlung erlauben. Sie tragen die Namen dieser KI-Crawler in ihre robots.txt ein und sperren sie aus. Untersuchungen zeigen, dass inzwischen ein großer Teil der wichtigsten Nachrichtenseiten so vorgeht.
Aufbau der Datei: User-agent und Disallow
Die Datei besteht aus wenigen Zeilen reinem Text, die jeder mit einem Editor schreiben kann. Eine Regelgruppe beginnt mit der Zeile „User-agent“. Dahinter steht der Name des Programms, für das die Regel gilt. Googles Suchmaschinen-Bot heißt zum Beispiel „Googlebot“, der Sammler von OpenAI heißt „GPTBot“. Ein Sternchen statt eines Namens bedeutet: gilt für alle.
Darunter folgen Zeilen mit „Disallow“ und einem Pfad. „Disallow: /intern/“ heißt: Finger weg von allem, was in diesem Unterverzeichnis liegt. Mit „Allow“ kann man einzelne Ausnahmen wieder freigeben. Ein leeres Disallow bedeutet, dass alles erlaubt ist. Viele Dateien enthalten außerdem einen Hinweis auf die Sitemap, also eine Liste aller Seiten, die der Betreiber gefunden haben möchte.
Ein häufiger Irrtum: Wer eine Seite in der robots.txt sperrt, versteckt sie damit nicht aus der Suchmaschine. Die Adresse kann trotzdem in den Ergebnissen auftauchen, wenn andere Seiten darauf verlinken. Um eine Seite wirklich aus dem Index zu halten, braucht man eine andere Anweisung direkt im Seitenquelltext, das sogenannte noindex-Tag. Und weil die Datei öffentlich lesbar ist, verrät ein Verbot manchmal genau das, was man verbergen wollte.
Streit um KI-Training und Paid Crawling
Am sichtbarsten wird das Thema in Meldungen über Verlage und KI-Firmen. 2023 führte OpenAI den GPTBot ein und erklärte, er respektiere robots.txt. Kurz darauf sperrten Reuters, die New York Times und viele deutsche Medien diesen Namen. Später kamen Verträge zustande, in denen KI-Firmen für Zugriff auf Archive zahlen. Die Datei ist dabei das technische Werkzeug, mit dem eine Redaktion ihr Nein oder Ja ausdrückt.
Auch als Beweismittel spielt sie eine Rolle. Wenn ein Crawler eine gesperrte Seite trotzdem abruft, lässt sich das in den Serverprotokollen nachlesen. Genau solche Protokolle waren 2024 Grundlage für öffentliche Vorwürfe gegen einzelne KI-Anbieter. Anbieter von Netzinfrastruktur wie Cloudflare gehen weiter und blockieren unerwünschte Bots technisch, statt nur höflich zu bitten.
Für dich selbst ist die Datei vor allem ein Blick hinter die Kulissen. Du kannst bei jeder Website die Adresse mit /robots.txt aufrufen und siehst sofort, welche Bots dort willkommen sind. Bei großen Portalen sind das oft hunderte Zeilen. Wer eine eigene Website oder einen Blog betreibt, kommt schnell selbst mit der Datei in Kontakt, weil Baukästen und Content-Management-Systeme sie automatisch anlegen.