Screen Scraping

Wenn du einen Kontostand auf einer Webseite abliest und in eine Tabelle tippst, machst du Handarbeit. Screen Scraping ist die automatische Variante davon. Ein Programm ruft die Seite auf, sucht die gewünschte Zahl an der Stelle, wo sie angezeigt wird, und speichert sie ab. Es liest also die fertige Darstellung aus, so wie ein Mensch sie am Bildschirm sieht. Das ist ein Umweg: Die Daten liegen im Hintergrund sauber geordnet vor, aber der Anbieter gibt sie nicht direkt heraus. Deshalb greift das Programm dort zu, wo die Daten ohnehin sichtbar sind.

Der Umweg, wenn es keine offizielle Schnittstelle gibt

Normalerweise tauschen Programme Daten über eine Schnittstelle aus, die der Anbieter dafür bereitstellt. Man nennt so etwas eine API. Sie liefert Zahlen in einem festen, maschinenlesbaren Format, ungefähr wie ein ordentlich ausgefülltes Formular. Wo es keine API gibt, bleibt nur der Bildschirm als Datenquelle. Screen Scraping ist deshalb selten die eleganteste Lösung, aber oft die einzige verfügbare.

Wirtschaftlich ist die Technik erstaunlich bedeutend. Viele Finanz-Apps sind erst durch Screen Scraping entstanden: Sie loggten sich mit den Zugangsdaten der Nutzer bei deren Bank ein und lasen die Umsätze von der Online-Banking-Seite ab. Erst später kamen echte Schnittstellen dazu. In Europa erzwang die Zahlungsdiensterichtlinie PSD2 ab 2018, dass Banken solche Schnittstellen anbieten müssen. Ähnlich läuft es bei Preisvergleichen, Immobilienportalen und Marktforschung.

Gleichzeitig ist das Verfahren umstritten. Betreiber sehen darin oft eine unerwünschte Nutzung ihrer Inhalte oder eine Belastung ihrer Server. Beim Bank-Scraping kommt hinzu, dass Nutzer ihr Passwort an einen Dritten weitergeben müssen. Genau das gilt heute als Sicherheitsrisiko und ist einer der Gründe für die Umstellung auf APIs.

Vom Quelltext zum Datensatz

Eine Webseite besteht technisch aus HTML, einer Textdatei mit Anweisungen, was wo angezeigt werden soll. Ein Scraper lädt diese Datei herunter und durchsucht sie nach Mustern. Er weiß zum Beispiel: Der Preis steht immer in einem Abschnitt, der als 'price' gekennzeichnet ist. Diese Regel schreibt ein Mensch vorher fest. Danach kann das Programm tausende Seiten in Minuten abarbeiten.

Schwieriger wird es bei Seiten, deren Inhalte erst im Browser zusammengesetzt werden. Dann startet der Scraper einen kompletten Browser im Hintergrund, klickt sich durch und liest das Ergebnis. Bei alten Firmenprogrammen ohne Webseite geht man noch weiter: Dort wird der Bildschirminhalt als Bild aufgenommen und mit Texterkennung ausgewertet. Genau daher stammt der Name.

Die große Schwäche ist die Zerbrechlichkeit. Ändert der Betreiber das Design, passt das Muster nicht mehr und der Scraper liefert Unsinn oder gar nichts. Ein häufiger Irrtum ist, Screen Scraping mit Hacking gleichzusetzen. Es wird nichts geknackt, es werden nur öffentlich sichtbare Inhalte automatisiert gelesen. Ob das erlaubt ist, hängt trotzdem von Urheberrecht, Datenschutz und den Nutzungsbedingungen ab.

Preisvergleiche, Banking-Apps und KI-Trainingsdaten

Am sichtbarsten ist die Technik bei Vergleichsportalen für Flüge, Hotels oder Strompreise. Ein Teil ihrer Angebote stammt aus offiziellen Kooperationen, ein Teil wird von Anbieterseiten abgelesen. Auch Software-Roboter in Büros nutzen das Prinzip: Sie holen sich Zahlen aus einem alten Programm und tragen sie in ein neues ein, weil es keine Verbindung zwischen beiden gibt. Diese Automatisierung von Klickarbeit läuft unter dem Kürzel RPA.

In den Nachrichten taucht Screen Scraping derzeit vor allem im Zusammenhang mit KI auf. Große Sprachmodelle wurden mit Texten trainiert, die massenhaft aus dem Internet eingesammelt wurden. Verlage und Plattformen wie Reddit oder die New York Times wehren sich dagegen juristisch oder verlangen Lizenzgebühren. Neu ist außerdem, dass KI-Assistenten selbst Webseiten bedienen sollen — also klicken, lesen und ausfüllen. Damit wird ein altes Verfahren plötzlich wieder zum aktuellen Streitthema.