Mise en œuvre de dbt et Airflow / Astronomer !
Comment passer d'une architecture initiale basée sur Terraform à une solution plus moderne utilisant dbt et Airflow Astronomer pour la transformation et l'orchestration des données ?
Ismail Mezzour partage son expérience de transformation d'une architecture de données menée sur une période de deux ans et demi. Le projet vise à remplacer une architecture historique, basée sur Terraform pour la transformation de données, par une stack technique moderne. L'architecture précédente, bien que fonctionnelle, présentait des limites significatives en termes de productivité pour les Analytics Engineers, avec des cycles de développement lents, une forte dépendance aux tests manuels et une absence de capacités de test en local.
