Skip to content

Scio, un DSL Scala pour Beam et REX Spark

Photo of Jonathan Winandy
Hosted By
Jonathan W. and François S.
Scio, un DSL Scala pour Beam et REX Spark

Details

Salut à tous,

Pour ce nouveau Meetup, nous sommes accueillis par Deezer.

En première partie, Alick nous présentera Scio un DSL Scala pour Apache Beam développé par Spotify.

En seconde partie, Hugo nous présentera l'outil interne "scheduler de tasks bigdata" de chez Deezer.

Finalement, Himanshu et Nitya Nand nous partegeront leurs bonnes pratiques Spark.

Comme d'habitude, on va garder du temps pour discuter entre nous de "DataLake" et du quotidien d'ingénieur de la donnée !

A très vite !

L'équipe Paris Data Eng'

⚠ Pensez à vous munir de votre carte d’identité, elle peut vous être demandée à l’entrée.

===========================
Détails

▶ Le 28 mai 2019
🕛 De 19h00 à 21h30
📍 12 Rue d'Athènes, 75009 Paris
💬 La session sera animée par Sara et Jonathan

===========================
Agenda

19 - Introduction ParisDataEng'

19h - Apache Beam et Google DataFlow IRL avec Scala Scio par Alick Paul [Français]

Une présentation de Scio, un DSL Scala pour Apache Beam développé par Spotify. Nous verrons des cas d'utilisation réels de votre machine vers Google Cloud Platform.

19h40 - 10 choses que j’aurais aimé savoir avant d’utiliser Spark en production par Himanshu Arora et Nitya Nand YADAV [Français]

Vous avez récemment commencé à travailler sur Spark et vos jobs
prennent une éternité pour se terminer? Ce talk est pour vous!

Nous avons rassemblé de nombreuses bonnes pratiques, optimisations et ajustements que nous avons appliqués au fil des années en production pour rendre nos jobs plus rapides et moins consommateurs de ressources.

Nous découvrirons également l'utilisation appropriée de RDD, DataFrame et Dataset afin de bénéficier pleinement des optimisations internes apportées par Spark.

20h15 - REX: pourquoi et comment développer son propre scheduler par Hugo Sempere [Français]

20h30 - Data Cocktail et Networking

Merci à notre hôte Deezer (https://www.deezer.com) de nous accueillir et nous offrir boissons et nourriture.

===========================
Présentation des speakers

Alick Paul

Data Engineer, Développeur Full-Stack... passionné par les langages alternatifs et globalement par tout ce qui peut avoir un compilateur ou un interpréteur, Runner et Jardinier hors-sol à mes heures perdues, j'aime développer de nouvelles idées et tenter de nouvelles choses.

Hugo Sempere

Plongé dans le monde de la Big Data depuis deux ans, j'ai commencé chez Deezer par contribuer à notre scheduler de job BigData. Je suis depuis devenu un passionné de Big Data. Je travaille maintenant au cœur de la pipeline de royalties de Deezer et j'œuvre à notre outil d'analytics à destination des professionnels de la musique, Backstage.

Himanshu Arora

Himanshu Arora is a passionate Senior Data Engineer from Paris. He is currently working for NeoLynk. He has been using Scala, Reactive systems and Big data stack for a few years now in production to help enterprises accelerate digital transformation. He is a Lightbend certified expert on Scala, Play, Akka and FastData and Databricks certified Spark developer. He loves to be a reactive and functional programming advocate. He contributes time to time in open source community and participates in scala, data, FP and reactive system conferences around the globe.

Nitya Nand YADAV

Nitya Nand YADAV is a data engineer based in Paris and currently at NeoLynk. He has been working in the domain of Big Data since last few years and worked with different French companies as a software developer on Hadoop stack. He worked on several projects in different sectors as a data engineer and helped build software of production level from scratch. He is a Big Data enthusiast, he believes in learning, sharing and encouraging people to learn and adopt modern technologies.

Photo of Paris Data Engineers! group
Paris Data Engineers!
See more events
Deezer
12 Rue d'Athènes · Paris, al