Scio, un DSL Scala pour Beam et REX Spark


Details
Salut à tous,
Pour ce nouveau Meetup, nous sommes accueillis par Deezer.
En première partie, Alick nous présentera Scio un DSL Scala pour Apache Beam développé par Spotify.
En seconde partie, Hugo nous présentera l'outil interne "scheduler de tasks bigdata" de chez Deezer.
Finalement, Himanshu et Nitya Nand nous partegeront leurs bonnes pratiques Spark.
Comme d'habitude, on va garder du temps pour discuter entre nous de "DataLake" et du quotidien d'ingénieur de la donnée !
A très vite !
L'équipe Paris Data Eng'
⚠ Pensez à vous munir de votre carte d’identité, elle peut vous être demandée à l’entrée.
===========================
Détails
▶ Le 28 mai 2019
🕛 De 19h00 à 21h30
📍 12 Rue d'Athènes, 75009 Paris
💬 La session sera animée par Sara et Jonathan
===========================
Agenda
19 - Introduction ParisDataEng'
19h - Apache Beam et Google DataFlow IRL avec Scala Scio par Alick Paul [Français]
Une présentation de Scio, un DSL Scala pour Apache Beam développé par Spotify. Nous verrons des cas d'utilisation réels de votre machine vers Google Cloud Platform.
19h40 - 10 choses que j’aurais aimé savoir avant d’utiliser Spark en production par Himanshu Arora et Nitya Nand YADAV [Français]
Vous avez récemment commencé à travailler sur Spark et vos jobs
prennent une éternité pour se terminer? Ce talk est pour vous!
Nous avons rassemblé de nombreuses bonnes pratiques, optimisations et ajustements que nous avons appliqués au fil des années en production pour rendre nos jobs plus rapides et moins consommateurs de ressources.
Nous découvrirons également l'utilisation appropriée de RDD, DataFrame et Dataset afin de bénéficier pleinement des optimisations internes apportées par Spark.
20h15 - REX: pourquoi et comment développer son propre scheduler par Hugo Sempere [Français]
20h30 - Data Cocktail et Networking
Merci à notre hôte Deezer (https://www.deezer.com) de nous accueillir et nous offrir boissons et nourriture.
===========================
Présentation des speakers
Alick Paul
Data Engineer, Développeur Full-Stack... passionné par les langages alternatifs et globalement par tout ce qui peut avoir un compilateur ou un interpréteur, Runner et Jardinier hors-sol à mes heures perdues, j'aime développer de nouvelles idées et tenter de nouvelles choses.
Hugo Sempere
Plongé dans le monde de la Big Data depuis deux ans, j'ai commencé chez Deezer par contribuer à notre scheduler de job BigData. Je suis depuis devenu un passionné de Big Data. Je travaille maintenant au cœur de la pipeline de royalties de Deezer et j'œuvre à notre outil d'analytics à destination des professionnels de la musique, Backstage.
Himanshu Arora
Himanshu Arora is a passionate Senior Data Engineer from Paris. He is currently working for NeoLynk. He has been using Scala, Reactive systems and Big data stack for a few years now in production to help enterprises accelerate digital transformation. He is a Lightbend certified expert on Scala, Play, Akka and FastData and Databricks certified Spark developer. He loves to be a reactive and functional programming advocate. He contributes time to time in open source community and participates in scala, data, FP and reactive system conferences around the globe.
Nitya Nand YADAV
Nitya Nand YADAV is a data engineer based in Paris and currently at NeoLynk. He has been working in the domain of Big Data since last few years and worked with different French companies as a software developer on Hadoop stack. He worked on several projects in different sectors as a data engineer and helped build software of production level from scratch. He is a Big Data enthusiast, he believes in learning, sharing and encouraging people to learn and adopt modern technologies.

Scio, un DSL Scala pour Beam et REX Spark