Skip to content

REX C* chez Deezer + PySpark et C* + C* : survivre en prod

Photo of DataStax
Hosted By
DataStax and Alexander
REX C* chez Deezer + PySpark et C* + C* : survivre en prod

Details

• What we'll do
Pour des raisons d'absentéisme important, nous ne mettons plus de limite sur les inscriptions. Par contre la salle est limitée à 70 places donc premier arrivé, premier servi.

Agenda:

19:00 - Accueil : Deezer 12 rue d'Athènes 75009 Paris
19:30 - Cassandra chez Deezer
20:00 - Traitement temps réel de flux réseaux IPFIX/Netflow avec PySpark, Kafka et Cassandra
20:30 - Apache Cassandra : Guide de survie pour la prod
21:00 - Pizzas, bières et networking

Talk 1 :

Speaker : Thibault Roucou - Lead Data Engineer @Deezer
Title : "Cassandra chez Deezer : de prototype à un site en production"

Abstract : Commencé comme un prototype, le projet Backstage est aujourd'hui un projet en forte évolution à Deezer.
Nous avons décidé d'utiliser Cassandra malgré le peu d'expérience que nous avions dessus.
Cette présentation fera un retour d'expérience sur le choix de la techno, le workflow que nous utilisons, les problèmes rencontrés, la mise en production et les évolutions que nous imaginons.

Talk 2 :

Speaker : Julien Anguenot - VP Software Engineering @Iland Cloud
Title : "Traitement temps réel de flux réseaux IPFIX/Netflow avec PySpark, Kafka et Cassandra"

Abstract :
Dans cette présentation, Julien décrira la conception est la mise en place d'une architecture Big Data 100% open source ayant pour but de traiter des flux réseaux IPFIX en temps réel à l'aide de PySpark, Apache Kafka et Apache Cassandra :
collecter en temps réel les événements IPFIX/Netflow à l'aide de syslog-ng et Kafka, PySpark assure les traitements à réaliser sur les flux en temps réel et enfin Cassandra comme socle de cette architecture.
Julien présentera des exemples de code Python pour Spark: définition, packaging et deploiement ainsi que des des exemples de modèle de données pour Cassandra et comment intéragir depuis PySpark avec Cassandra.
Cette présentation décrira également une stratégie de déploiement de Spark et Kafka sur Apache Mesos ou comment prévoir une architecture scalable pour les traitements applicatifs en introduisant Mesos couplé avec l'architecture shared-nothing (ou masterless) de Cassandra.

Talk 3 :

Speaker : Alexander Dejanovski - Consultant Cassandra @The Last Pickle
Title : "Apache Cassandra - Guide de survie pour la prod"

Abstract :
Tour d'horizon des problèmes principaux rencontrés en production avec Apache Cassandra.
Des problèmes de modélisation aux mauvais choix de stratégie de compaction en passant par des configurations par défaut non adaptées, nous verrons comment opérer une prod saine et sereine avec quelques conseils simples et applicables de suite.

• What to bring

• Important to know

Photo of Cassandra France group
Cassandra France
See more events
Deezer HQ
12 rue d'Athènes · Paris