06 - Bases de données gros volumes et temps-réel !

Bonjour à tous !

Je vous invite à nous rejoindre pour un sixième meetup, toujours résolument tech autour des bases de données qui peuvent gérer des gros volumes en real-time. 3 meets, 3 ambiances avec :
- HBase, le bon gros cluster Big Data,
- Postgres, la base old-school toujours indémodable,
- ClickHouse, la base récente avec des retours d'expérience hyper intéressants, notamment utilisé par Yandex, le Google russe

Voici le programme :
18h50 - Ouverture du Meet
18h55 - Introduction

19h : "5 étapes pour ingérer 1M d’enregistrements en 40 secondes dans HBase" par Mohammed Oussafi de Crédit Agricole Technologies & Services
En tant que consultants et développeurs, l’un des cas d’utilisation technique courant que nous rencontrons est la nécessité de charger en masse des données avec des performances extrêmement élevées.
Dans ce talk, nous expliquerons comment nous avons considérablement amélioré l’efficacité de la sauvegarde HBase en appliquant quelques règles.
Nous avons réussi à charger 1 million de messages Kafka en 40 secondes ou moins en utilisant cette approche.

Stack : HBase, Kafka, Spark, Hortonworks

19h25 : "Ecrire et Lire 2M lignes par minutes grâce à Postgres" par Loris Bererd de Free2Move
Pas toujours choisi dans des architectures near real-time, nous verrons ensemble comment nous avons poussé notre Postgres à 2 millions d'écritures, lectures et drops par minute, grâce à un passage dans AWS, aux partitions et index. A quoi servent chaque optimisation ? Comment les paramétrer au mieux ? Quelles sont les limites ?

Stack : Postgres, Aurora, RDS, AWS

19h50 : "ClickHouse, la base de donnée qui nous a permis de passer à l'échelle" par Vincent Cavaille-Coll de ContentSquare
Une rapide introduction à ClickHouse, la base de donnée Open Source qui nous a permis de diminuer nos coûts par 11 et d'améliorer notre temps de processing par 4 (et même 10 dans certains cas !) ainsi que de supporter de multiples nouveaux uses cases. Y compris la segmentation comportementale.
Qu'est-ce donc ? Comment ça marche ? Tour d'horizon des fonctionnalités et des limites.

Stack : ClickHouse

A bientôt 👋