What we're about

Meetup en France sur Apache Spark ( http://spark.apache.org ), le framework dédiée au processing BigData. Egalement au programme de ces meetups : Spark SQL, Spark Streaming, MLlib (Machine Learning) et GraphX (graph).

Upcoming events (1)

Paris Spark Meetup Databricks, SNCF, le 10 Décembre 2020

Online event

1 - Data & AI summit (Spark Summit) overview ============================================ Quentin Ambard, Solutions Architect at Databricks 30min Rejoignez nous pour un récap du Data & AI summit qui a lieu le 17/18 Novembre. Si vous n'avez pas eu le temps de suivre les keynotes et que vous ne savez pas quelle présentation regarder, c'est l'occasion d'avoir un condensé des dernières annonces, évolutions de spark et des pointeurs vers les talks les plus pertinents pour la communauté du Spark Meetup ! 2 - Construire un flux continu de données (Streaming) pour traiter les retards de trains avec Apache Spark et Delta Lake =================================================================== Kaoula Ghribi, Cloud/Data Engineer, SNCF Alexandre Bergere, Cloud Architect, SNCF 30min L'irrégularité des horaires des trains est l'une des principales causes de mécontentement des passagers. La SNCF a diffusé un réseau de balises sur ses[masked] km de voies ferrées, déclenchant un flux d'événements à chaque passage de train. Dans ce talk, nous présenterons comment a été construit un traitement de données en temps réel sur ces données, pour surveiller le trafic et cartographier la propagation des retards de train. Au cours de la présentation, est détaillé comment construire une solution de streaming de bout en bout, de l'ingestion à l'exposition. Le talk aborde les points suivants et dans cet ordre : * Pipeline de données : Comment mettre en place un pipeline de transformation de données à l'aide de Spark 3 et Delta avec Azure Databricks. Et comment Delta Lake rend les données mises à jour dynamiquement fiables * Exposition : Comment fournir une donnée en sortie de la meilleure façon en fonction de l'API Power BI ou REST grand public. * Prêt pour la production : Enfin, nous montrerons comment nous avons structuré notre processus de développement pour le fiabiliser et l'aligner sur les meilleures pratiques SNCF. A la fin de chaque talk, vous pourrez poser vos questions aux speakers. Ils se feront une joie de partager avec vous

Past events (13)

Spark Summit 2020, On refait le match

Online event

Photos (57)