Paris Spark Meetup Databricks, SNCF, le 10 Décembre 2020


Details
1 - Data & AI summit (Spark Summit) overview
Quentin Ambard, Solutions Architect at Databricks
30min
Rejoignez nous pour un récap du Data & AI summit qui a lieu le 17/18 Novembre.
Si vous n'avez pas eu le temps de suivre les keynotes et que vous ne savez pas quelle présentation regarder, c'est l'occasion d'avoir un condensé des dernières annonces, évolutions de spark et des pointeurs vers les talks les plus pertinents pour la communauté du Spark Meetup !
2 - Construire un flux continu de données (Streaming) pour traiter les retards de trains avec Apache Spark et Delta Lake
Kaoula Ghribi, Cloud/Data Engineer, SNCF
Alexandre Bergere, Cloud Architect, SNCF
30min
L'irrégularité des horaires des trains est l'une des principales causes de mécontentement des passagers.
La SNCF a diffusé un réseau de balises sur ses 32 000 km de voies ferrées, déclenchant un flux d'événements à chaque passage de train. Dans ce talk, nous présenterons comment a été construit un traitement de données en temps réel sur ces données, pour surveiller le trafic et cartographier la propagation des retards de train.
Au cours de la présentation, est détaillé comment construire une solution de streaming de bout en bout, de l'ingestion à l'exposition.
Le talk aborde les points suivants et dans cet ordre :
- Pipeline de données :
Comment mettre en place un pipeline de transformation de données à l'aide de Spark 3 et Delta avec Azure Databricks. Et comment Delta Lake rend les données mises à jour dynamiquement fiables - Exposition :
Comment fournir une donnée en sortie de la meilleure façon en fonction de l'API Power BI ou REST grand public. - Prêt pour la production :
Enfin, nous montrerons comment nous avons structuré notre processus de développement pour le fiabiliser et l'aligner sur les meilleures pratiques SNCF.
A la fin de chaque talk, vous pourrez poser vos questions aux speakers. Ils se feront une joie de partager avec vous

Paris Spark Meetup Databricks, SNCF, le 10 Décembre 2020