URL-Batch

Jede Webseite hat eine Adresse, die im Browser oben in der Zeile steht, zum Beispiel eine Zeichenkette, die mit https:// beginnt. Solche Adressen nennt man URLs. Ein URL-Batch ist einfach eine Liste vieler solcher Adressen, die ein Programm zusammen als eine Aufgabe bekommt. Das Programm arbeitet die Liste dann in einem Durchgang ab, statt für jede Adresse einen eigenen Auftrag zu starten. Der englische Begriff Batch bedeutet Stapel oder Charge, wie bei einem Blech Kekse, das man gemeinsam in den Ofen schiebt. Ein Batch kann zehn Adressen umfassen oder auch mehrere hunderttausend.

Warum Programme Adressen stapeln

Jeder einzelne Abruf im Internet kostet Zeit, die kaum etwas mit der eigentlichen Seite zu tun hat. Die Verbindung muss aufgebaut werden, ein Auftrag muss durchs Netz reisen, eine Antwort muss zurückkommen. Das dauert schnell ein Zehntel einer Sekunde. Wer eine Million Adressen einzeln nacheinander abruft, wartet rechnerisch über einen Tag lang nur auf das Netz.

Ein Batch löst dieses Problem, weil die Wartezeiten sich überlappen dürfen. Das Programm schickt viele Anfragen los, ohne auf die erste Antwort zu warten. Während Seite eins noch lädt, sind Seite zwei bis fünfzig schon unterwegs. Die Gesamtdauer richtet sich dann nicht mehr nach der Summe aller Wartezeiten, sondern nach der Kapazität der Leitung.

Dazu kommt ein praktischer Grund: Ein Batch ist eine saubere Buchungseinheit. Man kann ihn abbrechen, wiederholen, bezahlen oder protokollieren. Viele Anbieter rechnen Dienste genau so ab, etwa pro tausend abgerufener Adressen. Auch für die Fehlersuche hilft es, wenn ein Auftrag einen Anfang und ein Ende hat.

Vom Stapel zur Warteschlange

Technisch steht hinter einem Batch fast immer eine Warteschlange. Das ist eine Liste, aus der mehrere Arbeiter parallel den jeweils nächsten Eintrag ziehen. Die Zahl dieser Arbeiter ist begrenzt, oft auf einige Dutzend. So bleibt die Last kontrollierbar und niemand überlastet die eigene Anbindung.

Ein zweites wichtiges Bauteil ist die Ratenbegrenzung. Sie sorgt dafür, dass an denselben Webserver höchstens eine bestimmte Zahl von Anfragen pro Sekunde geht. Ohne diese Bremse würde ein großer Batch fremde Server ausbremsen, was einem Angriff ähnelt und meist zur Sperre führt. Seriöse Systeme halten außerdem die Datei robots.txt ein, in der eine Website festlegt, was automatische Programme abrufen dürfen.

Fehler gehören bei Batches zum Normalfall. Adressen sind tot, Server antworten langsam, manche Seiten verlangen eine Anmeldung. Deshalb protokolliert das System für jede Adresse ein Ergebnis und wiederholt fehlgeschlagene Abrufe später. Ein typischer Irrtum ist die Annahme, ein Batch sei erst dann fertig, wenn jede Adresse geklappt hat. In der Praxis gilt ein Lauf schon als erfolgreich, wenn ein hoher Anteil durchgegangen ist.

Batches hinter Suche, Crawlern und Trainingsdaten

Am sichtbarsten sind URL-Batches bei Suchmaschinen. Deren Programme, Crawler genannt, laufen ständig durch das Web und arbeiten dabei Adresslisten stapelweise ab. Wer eine eigene Website betreibt, kann in der Google Search Console selbst Adressen zur erneuten Prüfung einreichen. Auch dort gibt es Obergrenzen pro Tag, weil das Einreichen im Hintergrund einen Batch auslöst.

Im KI-Bereich begegnet einem der Begriff vor allem beim Sammeln von Trainingsdaten. Bevor ein Sprachmodell lernen kann, müssen Milliarden Webseiten abgerufen, gefiltert und gespeichert werden. Das geschieht in Batches, die über Wochen laufen. Auch moderne Chatbots mit Websuche verwenden kleine Batches, wenn sie für eine Antwort mehrere Quellen gleichzeitig öffnen.

Wichtig ist die Abgrenzung zum Batch beim Modelltraining. Dort meint das Wort eine Gruppe von Trainingsbeispielen, die das Modell in einem Rechenschritt verarbeitet. Bei einem URL-Batch geht es dagegen nur um das Einsammeln von Webinhalten. Gemeinsam ist beiden allein die Idee, viele gleichartige Dinge gebündelt statt einzeln zu bearbeiten.