Ingestion-Pipeline

Eine Ingestion-Pipeline ist ein automatisierter Ablauf, der Daten von irgendwo einsammelt und sie so aufbereitet, dass ein System sie nutzen kann. Das Wort « Ingestion » kommt aus dem Englischen und bedeutet so viel wie « Aufnahme » – gemeint ist die Aufnahme von Daten in ein System. Das Wort « Pipeline » steht dabei für eine Abfolge von Schritten, die nacheinander ablaufen, ähnlich wie Wasser durch ein Rohrsystem fließt. Am Anfang stehen Rohdaten aus einer oder mehreren Quellen: Webseiten, Datenbanken, Sensoren, APIs (Schnittstellen, über die Programme miteinander kommunizieren) oder Dokumente. Am Ende liegen saubere, einheitliche Daten vor, die ein Modell oder eine Anwendung direkt verwenden kann. Ohne diesen Schritt bleibt selbst das leistungsfähigste KI-Modell nutzlos.

Warum Rohdaten nicht direkt verwendbar sind

Daten aus der realen Welt sind selten ordentlich. Eine Produktdatenbank enthält Preise mal mit, mal ohne Währungssymbol. Ein Sensor liefert gelegentlich fehlerhafte Messwerte. Webseiten bestehen aus HTML-Code, der voller Formatierungsanweisungen steckt, die ein Modell nicht braucht. All diese Unregelmäßigkeiten machen Rohdaten für automatisierte Systeme unbrauchbar.

Eine Ingestion-Pipeline löst genau dieses Problem. Sie vereinheitlicht Formate, entfernt Duplikate, filtert fehlerhafte Einträge heraus und bringt alle Daten in eine gemeinsame Struktur. Erst dann sind sie verlässlich genug, um ein Modell damit zu trainieren oder eine Suche damit zu betreiben. Ein bekannter Satz in der Datenindustrie lautet: « Garbage in, garbage out » – schlechte Eingangsdaten führen zwingend zu schlechten Ergebnissen, egal wie gut das Modell ist.

Schritte einer typischen Ingestion-Pipeline

Der erste Schritt heißt Extraktion: Die Pipeline holt die Daten aus ihrer Quelle. Das kann ein einfacher Download sein, ein Datenbankabfruf oder ein sogenannter Crawler, der automatisch Webseiten liest. Danach folgt die Transformation: Die Daten werden bereinigt, in ein einheitliches Format gebracht und gegebenenfalls ergänzt. Fehlt zum Beispiel bei einem Datensatz ein Pflichtfeld, kann die Pipeline diesen Eintrag verwerfen oder mit einem Standardwert füllen.

Im letzten Schritt werden die aufbereiteten Daten in ein Zielsystem geladen – in eine Datenbank, ein sogenanntes Data Warehouse (ein zentrales Datenlager für Analysen) oder direkt in den Speicher eines KI-Modells. Dieses dreistufige Muster – Extrahieren, Transformieren, Laden – ist so verbreitet, dass es eine eigene Abkürzung hat: ETL. Moderne Systeme kehren die Reihenfolge manchmal um und laden erst, dann transformieren (ELT), weil Zielsysteme heute oft selbst sehr leistungsfähig sind.

Pipelines können einmalig laufen oder dauerhaft aktiv sein. Bei Echtzeitanwendungen – etwa einer App, die Börsenkurse auswertet – fließen Daten kontinuierlich durch die Pipeline, sekündlich oder sogar noch schneller. Bei anderen Projekten reicht es, die Daten einmal pro Tag zu aktualisieren.

Ingestion-Pipelines in KI-Produkten und News

Wer ein eigenes Sprachmodell mit Unternehmensdaten betreiben will – etwa ein internes Suchwerkzeug, das Mitarbeiteranfragen beantwortet –, muss zuerst alle relevanten Dokumente durch eine Ingestion-Pipeline schicken. Die Pipeline zerlegt PDFs und Word-Dokumente in Textabschnitte, versieht jeden Abschnitt mit Zusatzinformationen wie Datum und Autor und überführt alles in eine Vektordatenbank (ein Speichersystem, das Texte als mathematische Punkte ablegt, damit ein Modell ähnliche Inhalte schnell findet).

In der Finanzbranche versorgen Ingestion-Pipelines Risikomodelle mit Marktdaten, Nachrichtentexten und regulatorischen Meldungen – alles in Echtzeit. Wenn ein Anbieter wie Bloomberg oder Refinitiv neue Kursdaten liefert, nimmt eine Pipeline sie auf, prüft sie auf Plausibilität und stellt sie wenige Millisekunden später den Handelssystemen zur Verfügung.

In Tech-News taucht der Begriff vor allem auf, wenn Unternehmen ihre KI-Infrastruktur beschreiben. Aussagen wie « Wir haben unsere Ingestion-Pipeline auf Apache Kafka umgestellt » — Kafka ist ein verbreitetes System für schnelle Datenströme — signalisieren, dass das Unternehmen größere Datenmengen in kürzerer Zeit verarbeiten will. Hinter solchen Meldungen steckt oft eine handfeste Investitionsentscheidung: Wer mehr Daten schneller verarbeiten kann, trainiert bessere Modelle und aktualisiert seine Produkte häufiger.