ETL-Pipeline
Eine ETL-Pipeline ist eine automatische Kette von Arbeitsschritten, die Daten aus verschiedenen Quellen einsammelt, in eine einheitliche Form bringt und in einen zentralen Speicher schreibt. Sie ist die unsichtbare Vorarbeit hinter fast jeder Statistik, jedem Dashboard und jedem KI-Training.
Große Unternehmen speichern ihre Daten nicht an einem einzigen Ort. Verkaufszahlen liegen im Kassensystem, Kundendaten in einer anderen Software, Klickzahlen der Website in einer dritten. Wer daraus eine gemeinsame Auswertung machen will, muss alles einsammeln, vereinheitlichen und an einer Stelle ablegen. Genau diese drei Schritte beschreibt der Name ETL: extract heißt herausholen, transform heißt umformen, load heißt hineinladen. Eine ETL-Pipeline ist ein Programm, das diese Kette automatisch und regelmäßig abarbeitet, oft jede Nacht. Das Wort Pipeline steht dabei für die feste Reihenfolge: Was hinten herauskommt, hat vorher jeden Schritt durchlaufen.
Warum saubere Daten kein Nebenschauplatz sind
Jede Auswertung ist nur so gut wie die Daten darunter. Wenn ein System Beträge in Euro speichert und ein zweites in Dollar, ergibt die Summe Unsinn. Wenn dieselbe Kundin einmal als „Meier, Anna“ und einmal als „Anna Meier“ erfasst ist, zählt eine Statistik sie doppelt. Solche Fehler fallen im fertigen Diagramm kaum auf, verfälschen aber jede Entscheidung, die darauf beruht.
Für KI-Systeme gilt das noch stärker. Ein Modell lernt genau die Muster, die in seinen Trainingsdaten stecken, inklusive der Fehler. Fachleute schätzen, dass ein großer Teil der Arbeitszeit in Datenprojekten nicht in das Modell selbst fließt, sondern in das Beschaffen und Aufräumen der Daten. Die ETL-Pipeline ist der Ort, an dem diese Arbeit stattfindet.
Dazu kommt ein rechtlicher Punkt. Personenbezogene Daten dürfen nicht beliebig weitergereicht werden. In der Pipeline lassen sich Namen entfernen oder durch Nummern ersetzen, bevor die Daten überhaupt in der Auswertung landen. Was die Pipeline nicht durchlässt, kann später auch nicht falsch verwendet werden.
Die drei Buchstaben im Detail
Beim Extrahieren holt die Pipeline Daten aus den Quellsystemen. Das kann eine Datenbank sein, eine Textdatei oder eine Schnittstelle im Internet, über die ein anderer Dienst seine Daten bereitstellt. Meist wird nicht jedes Mal alles kopiert, sondern nur das, was seit dem letzten Lauf neu dazugekommen ist. Das spart Zeit und belastet die Quellsysteme weniger.
Das Transformieren ist der aufwendigste Teil. Hier werden Datumsangaben in ein einheitliches Format gebracht, Währungen umgerechnet, Dubletten zusammengeführt und offensichtlich unsinnige Werte aussortiert. Ein Geburtsjahr 1832 in einer Kundendatei ist mit hoher Wahrscheinlichkeit ein Tippfehler. Außerdem werden hier oft schon Zwischensummen gebildet, damit spätere Abfragen schneller laufen.
Beim Laden landen die fertigen Daten im Ziel, meist einem Data Warehouse. So nennt man eine Datenbank, die nicht für den laufenden Betrieb gedacht ist, sondern ausschließlich für Auswertungen. Eine Variante dreht die Reihenfolge um und heißt deshalb ELT: Man lädt die Rohdaten zuerst und formt sie erst im Zielsystem um. Das lohnt sich, weil moderne Cloud-Datenbanken viel Rechenleistung mitbringen. Wichtig ist bei beiden Varianten die Überwachung: Bricht ein Schritt ab, muss jemand davon erfahren, bevor am Morgen falsche Zahlen auf dem Bildschirm stehen.
Vom Nachtlauf bis zum Milliardenmarkt
Im Alltag merkt man von ETL-Pipelines nichts, profitiert aber ständig davon. Der Kontoauszug in der Banking-App, die Empfehlungen im Streamingdienst, die Lieferzeitangabe im Onlineshop: Dahinter stehen Daten, die aus mehreren Systemen zusammengeführt wurden. Auch die Corona-Zahlen der Gesundheitsämter wurden über solche Strecken zu einer bundesweiten Statistik verdichtet.
In Wirtschaftsnachrichten taucht der Begriff auf, weil rund um ihn ein großer Markt entstanden ist. Anbieter wie Snowflake, Databricks, Fivetran oder das offene Werkzeug Apache Airflow verdienen Geld damit, diese Abläufe zu bauen und zu betreiben. Wenn ein Konzern von seiner Datenstrategie spricht, geht es fast immer auch um diese Infrastruktur.
Ein häufiger Irrtum: Eine Pipeline sei ein einmaliges Projekt. Tatsächlich ändern sich Quellsysteme laufend, Schnittstellen werden angepasst, neue Datenfelder kommen dazu. Eine ETL-Pipeline ist deshalb eher wie eine Wasserleitung, die dauerhaft gewartet werden muss, als wie ein fertig gebautes Möbelstück.
