Orchestrer des pipelines data avec Dagster et SQLMesh

Speaker :
Thomas Trividic
Architecte IT & Data, DevRel GroupBees, Tech Lead Data Engineer et Expert Google Cloud freelance, fort de 7 ans d’expérience dont 5 ans en data engineering. Créateur et pilote de plateformes cloud innovantes, spécialiste des architectures orientées « modern data stack » (dbt, SQLMesh, dagster, airflow…).
Mentor technique, intervenant sur l’accélération de l’expertise équipe et la transformation data.
Initiateur du package open source Python « dg-sqlmesh » utilisé dans l’écosystème SQL Mesh.
Cofondateur de datacrafters.academy.

https://www.linkedin.com/in/thomas-trividic-5aa7437a/

Asbtract :

Découvrez comment combiner la puissance du framework de transformation de données SQLMesh avec les capacités d’orchestration de Dagster. Dans cette présentation, nous explorerons :
• Les fondamentaux de SQLMesh : Modèles SQL versionnés, audits et traitements incrémentaux
• Intégration avec Dagster : Conversion automatique des modèles SQLMesh en assets Dagster avec traçabilité complète
• Démo en direct : Création d’un pipeline de données complet avec le dataset Jaffle Shop
• Fonctionnalités avancées : Vérifications d’assets via les audits SQLMesh, planification adaptative, et blocage des traitements en aval
Que vous gériez des transformations complexes ou cherchiez à améliorer l’orchestration de vos pipelines, cette session vous montrera comment ces deux outils peuvent fonctionner ensemble pour créer des workflows robustes et maintenables.

Ressources :

• Package dg-sqlmesh : https://pypi.org/project/dg-sqlmesh/
• Documentation : https://github.com/fosk06/dagster-sqlmesh
• Dépôt de démo : https://github.com/fosk06/dagster-dbt-demo