Effektives DevOps in MS Fabric - Automatisierung von Deployments mit Pipelines u

Ein Data Engineer speichert ihre Daten in Warehouses, Lakehouses oder auch einfach in einer Datenbank. Man müsste es nicht erwähnt haben, so selbstverständlich ist das. Ein Data Engineer arbeitet aber mit anderen Sachen, die nicht in diese Art von Speicher gehören. Wohin tut man also die Notebooks, SQL Skripte oder das kleine Python Programm?
Wider besseren wissens lässt man es einfach auf seiner lokalen Festplatte. Wagemutige laden es in Microsoft Sharepoint hoch. Oder was für die Daten gut genug ist, ist auch dafür gut genug dafür und ab gehts damit in die Datenbank, schließlich spart das Speicherkosten. Glücklicherweise gibt es eine bessere Möglichkeit: Git.
Skripte und Notebooks werden in einem Git-Repository abgelegt. Git ist ein verteiltes Versionskontrollsystem, das ursprünglich für den Linux-Kernel entwickelt wurde. Es ermöglicht eine einfache Versionierung von Dateien und die Zusammenarbeit an derselben Notebooks. Git ist ein Werkzeug mit erstaunlich vielen Funktionen, aber erfordert auch Einarbeitung um damit umgehen zu können. Geh deine vielleicht ersten Schritte in Git als Data Engineer und erfahre, was Git für dich bei der Entwicklung deiner Lösung tun kann.
Jetzt, da deine SQL-Skripte und Notebooks vollständig mit Git versioniert sind, wie bekommt man diese aus dem Git-Repository in die SQL-Datenbank oder den Fabric-Arbeitsbereich? Man könnte sie natürlich manuell kopieren, aber wäre es nicht schöner, wenn die Änderung einfach automagisch im Arbeitsbereich auftaucht?
Die DevOps-Welt hat hier die Lösung: Pipelines. Erfahre, wie eine Pipeline ein Notebook in Entwicklungs-, Staging- und Prod-Umgebungen bereitstellen kann, wobei der Connection String und andere Parameter automatisch an die jeweilige Umgebung angepasst werden.
Pipelines sind auch ein vollständig integrierter Teil von Microsoft Fabric, welches wir für eine praktische Demonstration verwenden werden.