Graphbasierte Pipeline
Eine graphbasierte Pipeline ist ein Arbeitsablauf, der nicht als starre Kette abläuft, sondern als Netz aus Arbeitsschritten mit Pfeilen dazwischen. Jeder Pfeil sagt, welcher Schritt auf das Ergebnis welches anderen Schritts warten muss — dadurch kann Unabhängiges gleichzeitig laufen.
Viele Aufgaben am Computer bestehen aus mehreren Arbeitsschritten, die aufeinander aufbauen. Man kann sie als Kette anordnen: Schritt eins, dann zwei, dann drei. Eine graphbasierte Pipeline ordnet sie stattdessen als Netz an. Jeder Arbeitsschritt ist ein Punkt in diesem Netz, und ein Pfeil von einem Punkt zum nächsten bedeutet: Dieser Schritt braucht das Ergebnis des vorherigen. Schritte, zwischen denen kein Pfeil verläuft, hängen nicht voneinander ab und dürfen deshalb gleichzeitig laufen. Fachleute nennen so ein Netz aus Punkten und Pfeilen einen Graphen — daher der Name.
Was das Netz der starren Kette voraushat
Eine Kette ist einfach, aber verschwenderisch. Stell dir ein Kochrezept vor, in dem steht: Kartoffeln schälen, Kartoffeln kochen, Salat waschen, Salat anrichten. Als Kette gelesen stehst du zwanzig Minuten neben dem Topf, bevor du den Salat anfasst. In Wirklichkeit hängt der Salat gar nicht an den Kartoffeln. Ein Graph macht genau das sichtbar: zwei getrennte Stränge, die erst am Ende beim Servieren zusammenlaufen.
Bei Software geht es um dieselbe Ersparnis, nur in größerem Maßstab. Beim Trainieren eines KI-Modells muss man riesige Datenmengen vorher aufräumen: Texte einlesen, Dubletten entfernen, Sprachen erkennen, unerwünschte Inhalte herausfiltern. Manches davon kann parallel auf hunderten Rechnern laufen. Wer diese Abhängigkeiten sauber notiert, spart Stunden Rechenzeit und damit echtes Geld.
Der zweite große Vorteil ist die Fehlersuche. Wenn ein Schritt scheitert, weiß das System genau, welche späteren Schritte davon betroffen sind. Es muss nicht alles von vorne beginnen, sondern nur den kaputten Teilbereich wiederholen. Bei Abläufen, die mehrere Tage dauern, ist das der Unterschied zwischen einer Panne und einer Katastrophe.
Wie die Reihenfolge aus den Pfeilen entsteht
Der Programmierer schreibt nicht auf, wann welcher Schritt laufen soll. Er beschreibt nur, welcher Schritt welche Eingaben braucht. Aus diesen Angaben baut ein Steuerprogramm — üblicherweise Orchestrator oder Scheduler genannt — den Graphen zusammen. Es sucht dann alle Punkte, deren Vorbedingungen erfüllt sind, und startet sie. Ist ein Schritt fertig, prüft es erneut, was jetzt möglich geworden ist.
Eine Regel ist dabei zwingend: Die Pfeile dürfen keinen Kreis bilden. Wenn Schritt A auf B wartet und B auf A, wartet niemand mehr sinnvoll und der Ablauf steht still. Deshalb spricht man von einem gerichteten azyklischen Graphen, kurz DAG. Gerichtet heißt, die Pfeile haben eine Richtung. Azyklisch heißt, es gibt keine Rundwege.
Ein häufiger Irrtum ist, eine graphbasierte Pipeline mache alles automatisch schneller. Das gilt nur, wenn es tatsächlich unabhängige Zweige gibt. Ist der Ablauf eine echte Kette, in der jeder Schritt wirklich auf den vorherigen wartet, bringt der Graph keinen Zeitgewinn. Er bleibt trotzdem nützlich, weil er den Ablauf dokumentiert und Neustarts erleichtert.
Wo solche Abläufe im Hintergrund arbeiten
Am sichtbarsten sind graphbasierte Pipelines in Werkzeugen, die Namen wie Airflow, Dagster oder Prefect tragen. Solche Programme steuern in Unternehmen nächtliche Datenauswertungen, etwa das Zusammenrechnen von Verkaufszahlen aus verschiedenen Ländern. Auch wenn Entwickler neuen Programmcode einreichen, läuft im Hintergrund ein Graph: übersetzen, testen, verpacken, ausliefern.
In der KI-Branche taucht der Begriff besonders bei der Datenvorbereitung und beim Zusammenschalten mehrerer Modelle auf. Ein Sprachassistent kann etwa gleichzeitig eine Suchanfrage starten, den Kalender abfragen und die Nutzerhistorie laden, um die Ergebnisse erst danach zusammenzuführen. In Produktankündigungen liest man dann von Workflows oder Orchestrierung — gemeint ist meist genau dieses Prinzip.
Man sollte den Begriff nicht mit einem Wissensgraphen verwechseln, auch wenn beide das Wort Graph enthalten. Ein Wissensgraph speichert Fakten und deren Beziehungen, etwa dass eine Firma ihren Sitz in einer bestimmten Stadt hat. Eine graphbasierte Pipeline speichert keine Fakten, sondern Arbeitsschritte und deren Reihenfolge.