Ingestion

Bevor ein Computerprogramm mit Daten etwas anfangen kann, müssen diese Daten erst einmal bei ihm ankommen. Genau das meint Ingestion: das Einsammeln von Informationen aus verschiedenen Quellen und ihr Einspeisen in ein zentrales System. Die Quellen können sehr unterschiedlich sein – Kassensysteme eines Supermarkts, Sensoren in einer Fabrik, E-Mails, PDF-Dateien oder Webseiten. Das Ziel ist meist eine große Datensammlung, in der alles an einem Ort liegt und durchsuchbar ist. Das Wort kommt vom englischen „to ingest“, also aufnehmen oder verschlucken. Ingestion sagt nichts darüber aus, was später mit den Daten passiert; sie beschreibt nur den Weg hinein.

Ohne Ingestion kein Datenprojekt

In fast jedem Unternehmen liegen Daten verstreut in Dutzenden Systemen. Die Buchhaltung nutzt ein anderes Programm als der Vertrieb, die Produktion wieder ein anderes. Solange diese Daten getrennt bleiben, kann niemand eine Frage beantworten, die mehrere Bereiche betrifft. Ingestion ist die Arbeit, die nötig ist, damit so eine Frage überhaupt stellbar wird.

Für KI-Systeme gilt das noch stärker. Ein Sprachmodell, das Fragen zu firmeneigenen Dokumenten beantworten soll, muss diese Dokumente vorher aufgenommen haben. Deshalb ist Ingestion in vielen Projekten der Schritt, der am meisten Zeit frisst. Fachleute schätzen oft, dass mehr als die Hälfte des Aufwands in die Beschaffung und Bereinigung der Daten geht – und nicht in das eigentliche Modell.

Hinzu kommt ein einfacher, aber harter Zusammenhang: Was falsch hereinkommt, bleibt falsch. Wenn bei der Aufnahme Datensätze doppelt landen oder Datumsangaben durcheinandergeraten, merkt das später oft niemand mehr. Die Auswertung sieht dann sauber aus, ist aber falsch. Fehler an dieser Stelle sind besonders teuer, weil sie sich durch alles Weitere fortpflanzen.

Der Weg von der Quelle ins Zielsystem

Technisch besteht Ingestion meist aus drei Teilschritten. Zuerst holt ein Programm die Daten ab, etwa über eine Schnittstelle, also eine definierte Zugriffsmöglichkeit, die ein anderes System anbietet. Dann werden die Daten in ein einheitliches Format gebracht. Zuletzt werden sie in den Zielspeicher geschrieben, oft eine Datenbank oder ein sogenannter Data Lake, ein großer Sammelspeicher für Rohdaten.

Man unterscheidet zwei Betriebsarten. Bei der Stapelverarbeitung läuft der Vorgang zu festen Zeiten, zum Beispiel jede Nacht um drei Uhr für den gesamten Vortag. Beim Streaming fließen die Daten dagegen laufend, oft innerhalb von Sekunden nach ihrer Entstehung. Streaming ist aufwendiger und teurer, lohnt sich aber überall dort, wo schnelle Reaktionen zählen – etwa bei der Erkennung von Kreditkartenbetrug.

Ein häufiger Irrtum ist, Ingestion mit Datenanalyse gleichzusetzen. Beim Einlesen wird nur wenig verändert; die eigentliche Auswertung kommt danach. Für KI-Anwendungen gehört allerdings oft noch ein Zwischenschritt dazu: Lange Texte werden in Abschnitte zerlegt und in Zahlenlisten umgerechnet, damit ein Modell inhaltlich Ähnliches wiederfinden kann.

Wo der Begriff in News und Produkten auftaucht

Am häufigsten liest man das Wort in Meldungen über Cloud-Anbieter und Datenplattformen. Firmen wie Snowflake, Databricks oder Confluent verdienen ihr Geld genau damit, Daten zuverlässig aufzunehmen und bereitzustellen. Wenn dort von „Ingestion-Volumen“ die Rede ist, geht es um die Menge an Daten, die pro Tag hereinfließt – und damit oft direkt um den Umsatz.

Auch bei Chatbots für Unternehmen begegnet einem der Begriff. Wer ein Sprachmodell mit eigenen Handbüchern verbinden will, richtet eine Ingestion-Pipeline für diese Dokumente ein. Ändert sich ein Handbuch, muss es erneut aufgenommen werden, sonst antwortet der Chatbot mit veralteten Angaben.

Und schließlich taucht Ingestion in rechtlichen Diskussionen auf. Wenn Nachrichtenverlage gegen KI-Firmen klagen, geht es unter anderem um die Frage, welche Inhalte beim Einsammeln von Trainingsdaten aufgenommen wurden. Der scheinbar technische Schritt hat damit eine juristische Seite bekommen.