Stop copy-pasting your pipelines – Metadata-Driven Orchestration in der Praxis

Eine Lakehouse-Plattform startet mit einem ERP-System. Über die Jahre kommen neun weitere Quellsysteme dazu und jedes Mal kopiert man die Pipeline-Dateien und passt sie an. Funktioniert. Bis man überall Lineage-Spalten braucht. Oder Multithreading. Dann heißt ein Feature plötzlich zehn Änderungen in zehn Dateien, und irgendwann reicht’s.
In diesem Deep Dive zeige ich, wie ich genau diese Plattform umgebaut habe: Pipelines werden in YAML beschrieben, ein generischer Executor übernimmt Parallelisierung, Retries und Failure Handling, und eine neue Quelle ist eine Konfigurationsänderung statt einer Kopie. Wir gehen gemeinsam durch das YAML-Schema, das Lakehouse-Layout, das Logging und die Entscheidungen dahinter: was sich bewährt hat, was nicht, und was ich heute anders machen würde. Dazu eine Live-Demo, in der eine neue Quelle in wenigen Minuten angebunden wird.
Die Konzepte sind plattformunabhängig, die Beispiele kommen aus Microsoft Fabric und Databricks. Den Code gibt’s als Open-Source-Paket (pipetree). Am Ende bleibt Zeit für Fragen und Diskussion, bringt gern eure eigenen Orchestrierungs-Schmerzen mit.

David ist Azure Cloud Architect bei glueckkanja. Er baut und betreibt Azure-Infrastruktur für Kunden und berät über den gesamten Stack der Datenplattform, von der Anbindung der Quellsysteme über Architektur und Modellierung bis zum Einsatz von AI auf diesen Daten. Dahinter stecken rund sieben Jahre Data Warehousing, BI und inzwischen vor allem Lakehouses auf Fabric und Databricks. Das Thema des Vortrags kommt aus einem echten Projekt: eine Plattform, die auf zehn Quellsysteme gewachsen war, indem man Dateien kopiert hat, bis das nicht mehr ging. Was beim Umbau entstanden ist, hat er als Open-Source-Paket (pipetree) veröffentlicht und schreibt darüber in seinem Blog „Data Dave”.