Name: Paris Spark Meetup Databricks, SNCF, le 10 Décembre 2020
Start: 2020-12-10T18:00:00+01:00
End: 2020-12-10T19:30:00+01:00

1 - Data & AI summit (Spark Summit) overview
============================================
Quentin Ambard, Solutions Architect at Databricks
30min

Rejoignez nous pour un récap du Data & AI summit qui a lieu le 17/18 Novembre.

Si vous n'avez pas eu le temps de suivre les keynotes et que vous ne savez pas quelle présentation regarder, c'est l'occasion d'avoir un condensé des dernières annonces, évolutions de spark et des pointeurs vers les talks les plus pertinents pour la communauté du Spark Meetup !

2 - Construire un flux continu de données (Streaming) pour traiter les retards de trains avec Apache Spark et Delta Lake
===================================================================
Kaoula Ghribi, Cloud/Data Engineer, SNCF
Alexandre Bergere, Cloud Architect, SNCF
30min

L'irrégularité des horaires des trains est l'une des principales causes de mécontentement des passagers.

La SNCF a diffusé un réseau de balises sur ses 32 000 km de voies ferrées, déclenchant un flux d'événements à chaque passage de train. Dans ce talk, nous présenterons comment a été construit un traitement de données en temps réel sur ces données, pour surveiller le trafic et cartographier la propagation des retards de train.

Au cours de la présentation, est détaillé comment construire une solution de streaming de bout en bout, de l'ingestion à l'exposition.

Le talk aborde les points suivants et dans cet ordre :
* Pipeline de données :
Comment mettre en place un pipeline de transformation de données à l'aide de Spark 3 et Delta avec Azure Databricks. Et comment Delta Lake rend les données mises à jour dynamiquement fiables
* Exposition :
Comment fournir une donnée en sortie de la meilleure façon en fonction de l'API Power BI ou REST grand public.
* Prêt pour la production :
Enfin, nous montrerons comment nous avons structuré notre processus de développement pour le fiabiliser et l'aligner sur les meilleures pratiques SNCF.

A la fin de chaque talk, vous pourrez poser vos questions aux speakers. Ils se feront une joie de partager avec vous

charly Clairmont

Carbone Cédric

Paris Spark Meetup

Technology

Hadoop

Big Data

MapReduce

Machine Learning

Data Analytics

Predictive Analytics

Data Mining

Paris Spark Meetup Databricks, SNCF, le 10 Décembre 2020

Online event

Share

Paris Spark Meetup

Paris Spark Meetup Databricks, SNCF, le 10 Décembre 2020

Paris Spark Meetup

Details

Members are also interested in