Data repair and performance optimisation with Xebia FR

Le 17 décembre à 18h30, Xebia accueille dans ses locaux le Cassandra Paris Meetup. Dans cette troisième édition seront abordés :

• Une présentation détaillée des mécanismes internes de réparation des données fournit par Cassandra (hinted handoff, read repair, nodetool repair, ...) par Clément Lardeur ;

• Un retour d'expérience sur l'optimisation de performances sur un modèle clé/valeur avec Cassandra (key cache, row cache, ...) par William Montaz.


Mécanismes internes de réparation des données

Cassandra propose un certain nombre de fonctionnalités intégrées de réparation afin de s'assurer que les données restent cohérentes à travers les différents noeuds du cluster. Ces mécanismes de réparation sont les suivants :

• Read Repair - Mécanisme activé par défaut se déclenchant lors d'une lecture afin de réparer d'éventuelles incohérences de données entre les replicas ;

• Anti-Entropy Repair Node - Mécanisme qui permet de réparer les incohérences de données d'un noeud complet et de ses replicas. La commande nodetool repair doit être executée dans certaines situations (opérations de maintenance, redémarrage d'un noeud après une panne, ajout d'un noeud, ...) ;  

• Hinted Handoff - Mécanisme activé par défaut se déclenchant lors d'un échec d'écriture sur un des noeuds. Le coordinateur enregistre cette écriture afin de la rejouer lorsque le noeud sera de nouveau disponible.

Cette présentation a donc pour but d'expliquer le fonctionnement de ces 3 mécanismes, en partant de leurs fonctionnements globaux, jusqu'à leurs implémentations techniques, afin de comprendre quand et comment les utiliser.

Speaker : Clément Lardeur (45 min)


REX : Optimisation de performances sur 2 exemples

Cassandra est une base de données très performante. Pourtant, nous n'arrivons pas toujours à en tirer immédiatement le maximum. Loin de prétendre que nous avons poussé Cassandra dans ses ultimes retranchements, ces deux retours d'expérience pourront vous servir d'inspiration pour tirer le meilleur parti de votre cluster Cassandra.

• Twenga : Optimisation d'un automate de real time bidding. Lorsqu'un utilisateur se loggue sur un site disposant d'un bandeau publicitaire, le fournisseur de l'espace publicitaire propose aux annonceurs un espace de pub pour un utilisateur à un moment précis dans le temps. Les annonceurs proposent alors leur enchère. La meilleure, à la fin du temps imparti, remporte l'enchère au tarif du second plus offrant. Les réponses doivent être fournies en moins de 80ms. Pour cibler correctement les espaces publicitaires, twenga stocke des informations sur les urls cibles sous la forme clé/data.

• Optimisation d'un batch de calcul de prix. Une utilisation de Cassandra sous la forme "wide row". La problématique dans ce cas particulier : peu de clés requêtées en simultané mais un volume de données important à faire transiter.

Au programme :

• Les caches,

• Les bloom filters,

• Le commitlog,

• La JVM,

• Le sharding,

• Le driver java Datastax.

Speaker : William Montaz (45 min)



The 17th December at 6:30 pm, Xebia hosts the third Cassandra Paris Meetup where two topics will be covered:

• Presentation on the internal mechanisms of data repair supplied by Cassandra (hinted handoff, read repair, nodetool repair) by Clément Lardeur;

• Feedback on experience regarding the optimization of performance on a key/value model with Cassandra (key hide, row hide) by William Montaz.


Internal mechanisms of data repair

Cassandra has a number of repair features which ensure data remains consistent through the various knots of the cluster. These repair mechanisms are:

• Read Repair: Mechanism, activated by default, starts during a reading to repair possible incoherences of data between replicas;

• Anti-Entropy Repair Node: Mechanism allowing the repair the incoherent data between a complete node and its replicas. The command nodetool repair  must be executed in certain situations (operations of maintenance, restart of a node after a breakdown, an addition of a node);

• Hinted Handoff: Mechanism, activated by default, starts during a failure of writing on one of its nodes. The coordinator records this writing to replay it when the node will be again available.

The aim of this presentation is to explain the functioning of these 3 mechanisms, from their global functionings  to their technical implementations, in an attempt to understand when and how to use them.

Speaker : Clément Lardeur


Performance Optimisation (2 examples)

Cassandra is a very successful database. However, in saying that, we have still not yet reached its maximum potential. The following case study will hopefully serve as an inspiration to take away the best knowledge when working with your Cassandra cluster. 

Twenga: Optimization of an automated real time bidding system.

When a user logged on a site having an advertising banner, the supplier proposes advertising space to the announcers for that user at that precise moment.

Then, the announcers propose their bid. The best one, at the end of the allotted time, wins the bid at the price of the second highest bid..

The bids must be supplied within 80ms. In order to correctly target advertising spaces, twenga stores information in the target urls by key/data.

Confidential: Optimization of a batch of valuable calculations. Cassandra's use under the " wide row " system. The problem in this particular case: few keys are requested simultaneous but an important volume of data importing to channel through.

The case study includes:

• The caches

• The Bloom filters

• The commitlog

• The JVM

• The sharding

• The driver Java(popular waltz) Datastax

Speaker : William Montaz

Join or login to comment.

  • Arnaud M.

    Merci pour les slides, est ce que l'autre présentation sera aussi postée ?

    December 18, 2013

    • Clément L.

      Oui William devrait les publier.

      December 18, 2013

  • Clément L.

    Les slides de la présentation 'Deep Into Data Repair Mechanisms' sont disponbiles sur slideshare : http://fr.slideshare.net/ClmentLARDEUR/deep-into-cassandra-data-repair-mechanisms

    December 17, 2013

  • Dominique De V.

    Bonjour,
    Est-ce que ces présentations seront filmées et ensuite disponibles sur un site web (par ex, Xebia) ?
    Merci de votre réponse

    December 16, 2013

    • Clément L.

      Je ne pense pas qu'on filmera mais les slides seront sûrement disponibles sur internet.

      December 16, 2013

  • A former member
    A former member

    Room is booked at Xebia

    1 · October 31, 2013

Our Sponsors

  • DataStax

    Supporting the group with food, beverage, SWAG, venues and speakers.

  • Planet Cassandra

    Food, Beverage, SWAG, Speakers and Content

  • Zenika

    Venue, Logistics, Organisation, etc.

People in this
Meetup are also in:

Sometimes the best Meetup Group is the one you start

Get started Learn more
Rafaël

Rafaël, started French Conversation Group

Start your Meetup today

Act now and get 50% off.
Until February 1.

Sign up

Meetup members, Log in

By clicking "Sign up" or "Sign up using Facebook", you confirm that you accept our Terms of Service & Privacy Policy