Starlake : L'outil open-source qui révolutionne l'ingénierie des données
Details
Titre :
Starlake : L'outil open-source qui révolutionne l'ingénierie des données de bout en bout.
Abstract :
La programmation déclarative, popularisée par Ansible et Terraform, a révolutionné le déploiement d'infrastructures. Starlake applique cette approche à l'ingénierie des données, permettant de créer des data-pipelines Apache Spark, uniquement avec du code SQL et YAML. Compatible avec les principaux entrepôts de données (BigQuery, Databricks, Redshift, Snowflake, DuckDB) et Orchestrable nativement sur Airflow ou Dagster, il offre en prime une gestion des données complète et incrémentielle, avec validation au chargement, tests unitaires, observabilité, audit, lineage, et (en avant première 😉) une UI.
🔎 Venez découvrir comment Starlake accélère et simplifie la construction de vos pipelines de données tout en améliorant leur maintenabilité et évolutivité.
#DataEngineering #BigData #ETL #YAML #SQL #ApacheSpark #DataPipelines #CloudData #DataAutomation #Airflow #Dagster #BigQuery #Databricks #DuckDB #RedShift #Snowflake #OpenSource #DevOps #DataTransformation #GCP #LowCode
Bio du speaker :
Mourad Dachraoui est un Senior Data Engineer et spécialiste GCP, parmi les premiers contributeurs au projet open-source Starlake. Avec plus de 15 ans d'expérience, il a travaillé avec des entreprises de premier plan telles que Le Groupe La Poste, Renault Digital et la BPCE, menant des projets complexes de migration cloud et d'optimisation des architectures Big Data. Son expertise couvre les pipelines de données, la gestion des données à grande échelle, et les pratiques DevOps avancées.