Scraping

Beim Scraping liest ein Programm Internetseiten automatisch aus und speichert deren Inhalte. Ein Mensch würde eine Seite öffnen, lesen und interessante Stellen abtippen. Ein Scraper macht genau das, nur tausendfach pro Minute und ohne Pause. Das Programm ruft eine Adresse auf, holt den Seitentext, sucht die gewünschten Teile heraus und schreibt sie in eine Tabelle oder Datenbank. Wichtig ist der Unterschied zu einer offiziellen Schnittstelle: Bei einer Schnittstelle stellt der Anbieter seine Daten absichtlich zum Abholen bereit. Beim Scraping nimmt sich das Programm einfach das, was auf der öffentlich sichtbaren Seite steht.

Warum KI-Modelle ohne Scraping nicht existieren würden

Große Sprachmodelle lernen aus Text, und zwar aus extrem viel Text. Die Trainingsdaten der bekannten Modelle umfassen viele Milliarden Wörter. Diese Mengen kann niemand von Hand zusammentragen. Sie stammen fast vollständig aus gescrapten Webseiten, Foren, Nachrichtenportalen und Onlinelexika. Das bekannteste Beispiel ist Common Crawl, ein frei verfügbares Archiv, das seit Jahren große Teile des offenen Internets abspeichert.

Daraus entsteht ein Konflikt, der die Branche seit 2023 prägt. Zeitungen, Fotoagenturen und Autoren argumentieren, ihre Inhalte seien ohne Erlaubnis und ohne Bezahlung verwertet worden. Es gibt inzwischen zahlreiche Klagen gegen KI-Firmen, unter anderem von der New York Times gegen OpenAI. Parallel entstehen Lizenzverträge, bei denen Verlage Geld für den Zugriff auf ihr Archiv erhalten. Für Anleger ist das ein realer Kostenfaktor: Trainingsdaten waren lange gratis und werden gerade zu einem bezahlten Rohstoff.

Scraping ist aber nicht nur ein KI-Thema. Preisvergleichsportale, Immobiliensuchmaschinen und Marktforschungsfirmen bauen ihr ganzes Geschäft darauf, fremde Seiten regelmäßig auszulesen.

Vom Seitenaufruf zur fertigen Tabelle

Technisch läuft Scraping in drei Schritten ab. Zuerst schickt das Programm eine Anfrage an den Server, so wie es ein Browser tun würde. Der Server antwortet mit dem Quelltext der Seite, also dem Code, aus dem der Browser die sichtbare Seite zusammenbaut. Im zweiten Schritt durchsucht der Scraper diesen Code nach Mustern, etwa nach der Stelle, an der immer der Preis steht. Im dritten Schritt landet das Ergebnis strukturiert in einer Datei.

Schwierig wird es, wenn Inhalte erst im Browser durch zusätzliche Programme entstehen. Dann reicht der einfache Quelltext nicht, und der Scraper muss einen kompletten Browser im Hintergrund steuern. Das ist deutlich langsamer und aufwendiger.

Viele Seitenbetreiber wehren sich außerdem gegen automatische Zugriffe. Sie sperren Adressen, die zu schnell zu viele Anfragen senden, oder schalten Rätsel vor, die Maschinen schwerfallen. Eine freiwillige Regel ist die Datei robots.txt: Dort schreibt eine Seite hinein, welche Programme sie nicht auslesen sollen. Diese Datei ist eine Bitte, keine technische Sperre. Ein häufiger Irrtum ist deshalb, Scraping sei automatisch erlaubt, solange es technisch klappt. Ob es zulässig ist, entscheiden Urheberrecht, Datenschutz und die Nutzungsbedingungen der Seite.

Scraper im eigenen Alltag erkennen

Wer einen Flug oder ein Hotel vergleicht, nutzt Ergebnisse von Scrapern. Dasselbe gilt für Portale, die Benzinpreise oder Gebrauchtwagenangebote sammeln. Auch Suchmaschinen arbeiten mit einer verwandten Technik: Ihre Crawler laufen durch das Netz und erfassen Seiten, damit man sie später finden kann. Der Unterschied liegt im Zweck. Ein Crawler will Seiten für den Index entdecken, ein Scraper will bestimmte Inhalte herausziehen und behalten.

In Nachrichten begegnet der Begriff meist im Streit. Meldungen über gesperrte KI-Bots, über neue Lizenzabkommen zwischen Verlagen und KI-Firmen oder über abgeschöpfte Profildaten aus sozialen Netzwerken drehen sich alle um Scraping. Beim letzten Punkt spricht man von Data Scraping personenbezogener Daten, was in Europa schnell mit der Datenschutzgrundverordnung kollidiert.

Auch im Kleinen ist die Technik verbreitet. Ein Schülerprojekt, das täglich Wetterwerte von einer Webseite abholt und daraus eine Grafik erstellt, ist Scraping. Der Aufwand ist gering, die rechtliche Frage bleibt trotzdem dieselbe.