SFEIR Lille

## À propos de cet événement

Dans cette School on vous présente les bases de Airflow : revenir sur le vocabulaire (DAG, task, scheduler), créer des premiers DAG basiques.
Dans une deuxième partie on va regarder le fonctionnement interne de Airflow (version 2 et 3) pour comprendre les limites et les bonnes pratiques de l'outil.
On verra pour finir des techniques d'optimisation des DAG et des astuces d'architecture pour améliorer la stabilité de l'outil lors d'évolutions ou changements de versions.

## Objectifs Pédagogiques

À la fin de cette formation, les participants seront capables de :

• Installer Airflow en local
• Créer ses premiers flux
• Comprendre comment Airflow fonctionne de façon interne
• Bonnes pratiques et optimisation de DAG

## Programme de la formation

• Module 1 — Comprendre le but d'un orchestrateur et son vocabulaire
• Qu'est-ce qu'un orchestrateur ?
• À quel problème répond-t-il ?
• Quels sont les mots clés à connaître
• Module 2 — Définition d'un DAG
• Les composants d'un DAG
• Atelier : Création d'un premier DAG
• Variabiliser les DAGs via templating
• Module 3 — Le fonctionnement interne de Airflow
• L'architecture interne de Airflow v2
• L'architecture interne de Airflow v3
• Module 4 — Bonnes pratiques et optimisations
• Les coûts cachés des Xcom et Variables
• Repérer les opérateurs à ne pas utiliser
• Alternatives et bonnes pratiques recommandées

## Prérequis

### Prérequis techniques

• Avoir Docker et Docker Compose d'installé sur son poste de travail