Web Scraping
Web Scraping bedeutet, Inhalte von Webseiten automatisch von einem Programm auslesen und in eine geordnete Datensammlung überführen zu lassen. Es ist die wichtigste Methode, um große Mengen öffentlich sichtbarer Internetinhalte für Preisvergleiche, Forschung oder das Training von KI-Systemen zu beschaffen.
Web Scraping heißt: Ein Programm ruft Webseiten auf und liest deren Inhalte automatisch aus. Ein Mensch würde eine Seite öffnen, den Preis ablesen und ihn in eine Tabelle tippen. Das Programm macht genau das, nur tausendfach und in wenigen Minuten. Am Ende steht eine geordnete Datensammlung, etwa eine Tabelle mit Produktnamen, Preisen und Datum. Das Wort kommt vom englischen „to scrape“, also abkratzen oder abschaben. Gemeint ist, dass die gewünschten Angaben aus der fertig gestalteten Seite herausgelöst werden.
Warum halb das Internet abgeschrieben wird
Sehr viele wertvolle Informationen stehen offen im Netz, aber nicht in nutzbarer Form. Ein Onlineshop zeigt seine Preise auf hübsch gestalteten Seiten, nicht als Datei zum Herunterladen. Wer Preise vieler Shops vergleichen will, muss sie sich also selbst zusammensammeln. Genau davon leben Vergleichsportale für Flüge, Hotels oder Elektronik.
In den letzten Jahren ist ein zweiter Grund noch wichtiger geworden. Große Sprachmodelle, also KI-Systeme wie ChatGPT, lernen aus riesigen Textmengen. Diese Texte stammen zu einem großen Teil aus dem offenen Internet und wurden per Scraping eingesammelt. Ohne diese Sammelarbeit gäbe es die heutigen KI-Modelle nicht.
Daraus ergibt sich ein Dauerstreit. Verlage, Foren und Bilddatenbanken sehen ihre Inhalte kostenlos abgesaugt und anschließend in kommerziellen Produkten verwertet. Mehrere Zeitungen und Künstler haben deshalb KI-Firmen verklagt. Andere Anbieter verkaufen ihre Archive inzwischen lieber gegen Lizenzgebühren, statt sie einfach abschreiben zu lassen. Rechtlich ist die Lage nicht einheitlich: Erlaubt ist Scraping nicht automatisch nur deshalb, weil eine Seite öffentlich erreichbar ist.
Vom Seitenquelltext zur Tabelle
Technisch läuft der Vorgang in drei Schritten ab. Zuerst fordert das Programm eine Seite beim Server an, so wie es ein Browser auch tut. Es bekommt HTML zurück, also den Bauplan der Seite mit Text und Formatierungsanweisungen. Im zweiten Schritt sucht das Programm darin die gewünschten Stellen. Im dritten Schritt speichert es die Funde geordnet ab.
Das Suchen funktioniert über Muster in der Seitenstruktur. Ein Preis steht auf einer Shopseite meist immer an derselben Stelle des Bauplans, etwa in einem Element mit der Bezeichnung „price“. Der Scraper wird auf dieses Muster eingestellt und findet es dann auf allen Produktseiten wieder. Ein Zusatzprogramm, der Crawler, klickt sich vorher durch die Links, damit der Scraper überhaupt alle Seiten kennt.
In der Praxis ist das fragil. Ändert der Shop sein Layout, passt das Muster nicht mehr und der Scraper liefert Unsinn oder nichts. Viele Seiten bauen ihre Inhalte außerdem erst im Browser zusammen, sodass im ersten Bauplan noch keine Daten stehen. Dann muss ein echter Browser fernsteuert werden, was langsamer ist. Betreiber wehren sich zusätzlich mit Bilderrätseln, Sperren von Adressen oder Tempolimits pro Besucher. Eine Datei namens robots.txt teilt außerdem mit, welche Bereiche automatische Besucher meiden sollen. Sie ist eine Bitte, keine technische Sperre.
Preisportale, Bots und Nachrichten über Datendeals
Im Alltag begegnet man Scraping meist als fertigem Produkt. Flug- und Hotelvergleiche, Immobilienportale und Preisverläufe bei Elektronik beruhen darauf. Auch Suchmaschinen sind im Kern gigantische Crawl- und Scraping-Maschinen, die Milliarden Seiten erfassen. Wer eine Adresse in eine Karten-App eintippt, nutzt oft Daten, die aus vielen Quellen zusammengetragen wurden.
In Wirtschaftsnachrichten taucht der Begriff vor allem in zwei Zusammenhängen auf. Erstens bei Klagen und Lizenzverträgen zwischen Medienhäusern und KI-Anbietern. Zweitens bei Plattformen, die ihre Schnittstellen für Entwickler plötzlich verteuern oder schließen, um das Absaugen zu bremsen. Reddit und X haben das öffentlich sichtbar getan.
Wichtig ist die Abgrenzung zum Hacken. Scraping greift nur auf Inhalte zu, die jeder Besucher sehen kann, es umgeht kein Passwort. Problematisch wird es durch die Masse, durch verletzte Nutzungsbedingungen oder durch personenbezogene Daten wie Profilfotos. Für Schulprojekte gilt daher eine einfache Regel: sparsam abfragen, Quelle nennen und offizielle Datenschnittstellen bevorzugen, wenn es sie gibt.