ParisDataEng' #15 ~ Data Engineering with Delta Lake, Pulsar and Spark-tools


Details
Salut à tous,
Pour ce nouveau Meetup, nous sommes accueillis par Leboncoin.
Nous parlerons de Delta Lake, Pulsar et Spark.
Comme d'habitude, on va garder du temps pour discuter entre nous de "DataLake" et du quotidien d'ingénieur de la donnée !
A très vite !
L'équipe Paris Data Eng'
⚠ Pensez à vous munir de votre carte d’identité, elle peut vous être demandée à l’entrée.
===========================
Agenda
18h30 - Accueil des participants
19h00 - Delta Lake OSS: create reliable and performant Data Lake par Quentin Ambard [Français]
Delta Lake is an open source framework living on top of parquet in your data lake to provide Reliability and performances. It has been open-sourced by Databricks this year and is gaining traction to become the defacto delta lake format.
We’ll see all the goods Delta Lake can do to your data with ACID transactions, DDL operations, Schema enforcement, batch and stream support etc !
19h45 - Scalable logs processing, REX from Clever Cloud par Alexandre Duval et Quentin Adam [Français]
From reverses proxies access logs to a real-time "pewpewmap" display for each organisation or application. From clients applications logs to livelogging and long storage. Let's see how Clever Cloud manages its high scalability logs infrastructure using Apache Pulsar.
20h - Spark-tools OSS par Jonathan Winandy [Français]
Coming soon
20h30 - Data Cocktail et Networking
Merci à notre hôte Leboncoin - Groupe Adevinta (https://recrutement.leboncoin.fr/) de nous accueillir et nous offrir boissons et nourriture.
===========================
Présentation des speakers
Quentin Ambard
Solutions Architect à Databricks
Quentin Adam
Quentin ADAM is the CEO of Clever Cloud : a Platform as a Service company allowing you to run java, scala, ruby, node.js, php, python or go applications, with auto scaling and auto healing features. This position allow him to study lots of applications, code, practice, and extract some talks and advises. Regular speaker at various tech conference, he’s focused to help developers to deliver quickly and happily good applications.
Alexandre Duval
Alexandre is an IT Engineer working on logs and addons systems at Clever Cloud.
Jonathan Winandy
Jonathan est "Data Engineer" et fondateur d'un cabinet d'expertise dans le domaine, Univalence.
Avant d'être entrepreneur et cofondateur de plusieurs entreprises dans le domaine de la data, Il a travaillé dans différents contextes : chef de projet, développeur (Java/Scala/Clojure) ou encore architecte de plateformes distribuées (Kafka/Hadoop/Spark).
Passionné par la donnée et la programmation qui fonctionne, Jonathan s’est spécialisé dans l'outillage et l’analyse des mouvements de données dans les différentes formes de systèmes d'information !

ParisDataEng' #15 ~ Data Engineering with Delta Lake, Pulsar and Spark-tools