Data Pipeline

In großen Unternehmen entstehen Daten an vielen Orten gleichzeitig. Ein Onlineshop speichert Bestellungen, die App zählt Klicks, das Lager meldet Bestände. Diese Daten liegen zunächst verstreut, in unterschiedlichen Formaten und oft voller Fehler. Eine Data Pipeline ist die feste Abfolge von Schritten, die diese Daten einsammelt, vereinheitlicht und an einen zentralen Ort bringt. Der Name passt gut: wie in einer Rohrleitung fließt das Material immer in dieselbe Richtung und durch dieselben Stationen. Der entscheidende Punkt ist, dass niemand die Schritte von Hand auslöst, sondern ein Programm sie nach Plan wiederholt.

Warum ohne Datenstrecken keine KI entsteht

Ein KI-Modell lernt aus Beispielen. Diese Beispiele müssen erst einmal vollständig, sauber und in einheitlicher Form vorliegen. Genau das leistet die Pipeline. Fachleute sagen deshalb, dass in KI-Projekten der größere Teil der Arbeit nicht im Modell steckt, sondern in der Datenvorbereitung. Schätzungen von etwa 60 bis 80 Prozent der Projektzeit sind in der Branche üblich.

Der zweite Grund ist Verlässlichkeit. Ein Vorstand, der über Preise entscheidet, braucht Umsatzzahlen, die morgen genauso berechnet werden wie heute. Läuft die Auswertung automatisch nach festen Regeln, ist das Ergebnis nachvollziehbar. Klickt dagegen jemand in einer Tabelle Zahlen zusammen, entstehen Fehler, die niemand später findet.

Fällt eine Pipeline aus, merkt man das oft erst spät. Dann zeigt ein Dashboard einfach veraltete Zahlen an, ohne Warnung. Deshalb überwachen Firmen ihre Datenstrecken so genau wie ihre Webseiten. Ein Begriff dafür ist Data Observability, also die laufende Kontrolle, ob die Daten pünktlich und plausibel ankommen.

Die Stationen von der Quelle bis zur Auswertung

Der erste Schritt heißt Extraktion: Daten werden aus der Quelle geholt, etwa aus einer Datenbank oder von einer Schnittstelle im Netz. Der zweite Schritt ist die Transformation. Hier werden Datumsangaben angeglichen, Doppeleinträge entfernt und Währungen umgerechnet. Der dritte Schritt ist das Laden in ein Zielsystem, meist ein großes zentrales Datenlager.

Für die Reihenfolge dieser Schritte gibt es zwei Schulen. Bei ETL wird vor dem Laden transformiert, bei ELT erst danach im Zielsystem. ELT ist heute verbreiteter, weil moderne Datenlager in der Cloud sehr viel Rechenleistung bieten. Die Cloud ist dabei nichts anderes als gemietete Rechner in fremden Rechenzentren.

Außerdem unterscheidet man nach dem Takt. Eine Batch-Pipeline arbeitet in Schüben, zum Beispiel jede Nacht um drei Uhr. Eine Streaming-Pipeline verarbeitet jedes Ereignis sofort, im Bereich von Sekunden. Streaming ist teurer und aufwendiger, lohnt sich aber bei Betrugserkennung im Zahlungsverkehr. Ein häufiger Irrtum ist, eine Pipeline sei ein einzelnes Programm. Meist ist sie ein Netz aus vielen kleinen Aufgaben, deren Reihenfolge ein Steuerprogramm überwacht.

Wo Datenpipelines in Produkten und Schlagzeilen auftauchen

Jede Musik- oder Videoempfehlung beruht auf einer Pipeline. Sie sammelt, was du angehört hast, und liefert es an das Empfehlungssystem. Auch die Verspätungsanzeige der Bahn und die Betrugsprüfung deiner Bank arbeiten so. Selbst ein Chatbot nutzt im Hintergrund Strecken, die Firmendokumente aufbereiten und durchsuchbar machen.

In Wirtschaftsnachrichten begegnet dir das Thema meist über Firmennamen. Snowflake und Databricks verkaufen Datenlager, Fivetran und dbt bauen Werkzeuge für die einzelnen Schritte, Apache Airflow steuert die Reihenfolge als freie Software. Dass solche Anbieter Milliardenbewertungen erreichen, zeigt, wie viel Geld in dieser unsichtbaren Infrastruktur steckt.

Als Berufsbild heißt das Feld Data Engineering. Data Engineers bauen und pflegen diese Strecken, während Data Scientists die Daten auswerten. In Stellenausschreibungen ist die erste Gruppe inzwischen häufig stärker gesucht als die zweite.