RFC 9309
RFC 9309 ist der offizielle Internet-Standard, der regelt, wie Websites Webcrawlern – also automatischen Programmen, die das Netz durchsuchen – mitteilen, welche Seiten sie besuchen dürfen und welche nicht. Er formalisiert die seit den 1990er-Jahren gebräuchliche robots.txt-Datei und macht sie verbindlich.
Jede Website kann eine kleine Textdatei namens robots.txt bereitstellen. Diese Datei liegt immer an derselben Stelle, nämlich direkt unter der Hauptadresse einer Website, zum Beispiel unter « beispiel.de/robots.txt ». Automatische Programme, sogenannte Webcrawler, die Seiten systematisch besuchen und auslesen, sollen diese Datei zuerst lesen und sich dann daran halten. RFC 9309 ist das Dokument, das seit August 2022 als offizieller Internet-Standard genau festlegt, wie diese Datei aufgebaut sein muss und wie Crawler sie auswerten sollen. RFC steht für « Request for Comments » — so heißen seit Jahrzehnten die technischen Spezifikationen, auf denen das Internet aufbaut.
Warum ein 30 Jahre alter Brauch erst jetzt ein Standard wurde
Die robots.txt-Konvention wurde 1994 von Martijn Koster eingeführt. Damals war sie ein informeller Vorschlag, kein verbindliches Regelwerk. Trotzdem hielten sich die meisten großen Crawler daran — aus Gewohnheit, nicht aus Pflicht. Das Problem: Wenn etwas nirgendwo präzise aufgeschrieben ist, interpretiert es jeder etwas anders.
Google, das die Standardisierungsarbeit federführend vorangetrieben hat, dokumentierte über Jahre, wie unterschiedlich verschiedene Crawler dieselbe robots.txt-Datei auswerteten. Manche ignorierten bestimmte Schreibweisen, andere behandelten Platzhalterzeichen verschieden. RFC 9309 beseitigt diese Grauzone. Er legt unter anderem fest, wie Crawler mit widersprüchlichen Regeln umgehen müssen, wie groß eine robots.txt-Datei sein darf, und was passiert, wenn die Datei gar nicht erreichbar ist.
Für Webseitenbetreiber ist das relevant, weil ihre Anweisungen nun vorhersehbarer befolgt werden. Für Crawler-Entwickler schafft der Standard eine klare Grundlage, an der sie ihre Software messen können.
Aufbau und Logik der robots.txt
Eine robots.txt-Datei besteht aus Blöcken, die jeweils mit « User-agent » beginnen. Dieser Eintrag gibt an, für welchen Crawler die folgende Regel gilt. Danach folgen « Allow »- und « Disallow »-Zeilen, die bestimmte Adresspfade freigeben oder sperren. Der Platzhalter « * » bei User-agent gilt für alle Crawler, die keinen eigenen Block haben. Ein einfaches Beispiel: « User-agent: * / Disallow: /intern/ » bedeutet, dass kein Crawler den Bereich /intern/ besuchen soll.
RFC 9309 präzisiert dabei mehrere Punkte, die vorher unklar waren. Wenn eine « Allow »- und eine « Disallow »-Regel denselben Pfad betreffen, gewinnt die längere Regel — weil sie spezifischer ist. Wenn die robots.txt-Datei nicht erreichbar ist und der Server mit einem Fehler antwortet, muss der Crawler je nach Fehlercode unterschiedlich reagieren: Ein temporärer Fehler bedeutet, zunächst abzuwarten; ein dauerhafter Fehler bedeutet, alle Bereiche als erlaubt zu behandeln.
Wichtig ist auch, was RFC 9309 ausdrücklich nicht regelt: Er schreibt keinem Crawler vor, die Datei zu respektieren. Er beschreibt nur, wie sie korrekt ausgewertet werden muss, wenn ein Crawler sie berücksichtigen will. Gehorsam ist freiwillig — aber wer robots.txt liest, muss RFC 9309 folgen.
RFC 9309 und das Training von KI-Modellen
In den Nachrichten taucht RFC 9309 seit 2023 vor allem im Zusammenhang mit KI auf. Unternehmen wie OpenAI, Google und Anthropic setzen Crawler ein, um Texte aus dem Netz zu sammeln und damit ihre Sprachmodelle zu trainieren. Viele Webseitenbetreiber — darunter Zeitungen, Verlage und Plattformen — wollen das nicht. Sie tragen deshalb die Crawler-Namen dieser Unternehmen in ihre robots.txt ein und sperren sie.
Das wirft eine grundsätzliche Frage auf, die RFC 9309 selbst nicht beantwortet: Halten sich alle KI-Crawler tatsächlich an die Vorgaben? Mehrere Untersuchungen haben gezeigt, dass manche Anbieter robots.txt-Sperren zumindest teilweise ignoriert haben. Der Standard regelt das Wie, nicht das Ob — und Durchsetzungsmechanismen fehlen. Die Debatte darüber, ob ein Verstoß gegen robots.txt rechtlich relevant ist, läuft in verschiedenen Ländern parallel zu den technischen Gesprächen.
RFC 9309 ist damit mehr als ein trockenes Technikdokument. Es ist das zentrale Regelwerk einer Auseinandersetzung darüber, wer das offene Web nutzen darf — und zu welchem Zweck.