Dataform: Scalabilité organisationnelle sur BigQuery
Détails
Asbtract :
La scalabilité technique de BigQuery n’est plus à démontrer. Il s’agit d’une gageure qui a laissé place à d’autres problématiques. L’aspect Finops et scalabilité organisationnelle en font partie.
BigQuery vanilla n’a pas de solution généraliste à ces problématiques contextuelles.
Dataform, service intégré à Google Cloud, offre une solution efficace pour le travail en équipe sur BigQuery.
Orchestrateur, pipeline ELT, linter de requêtes, workspace BigQuery, intégration avec Git…sont autant de dimensions sous lesquelles appréhender Dataform qui reste néanmoins simple d’accès.
Cette présentation vous introduira aux notions clés de ce services ainsi que les bonnes pratiques observées sur le terrain, le tout illustré par un exemple simple mais complet.
Non exempts de défauts nous apprécieront par ailleurs les axes d’amélioration de cette technologie.
Speaker Bio : Ismael Hommani
Fort d’une longue expérience dans le développement, Ismaël a toujours su évoluer en fonction des problématiques présentées. Scalabilité, résilience et sécurité sont les maîtres-mots de son approche. Le cloud arrive aujourd’hui à maturité et rend ces concepts accessibles au plus grand nombre, devenant ainsi son terrain d’expertise. Ses domaines de prédilections : Serverless, Data engineering, Automatisation, DevOps et plate-formes Cloud.