Fast Data Pipelines with Kafka

Apache Kafka est un système de type pub/sub distribué, construit avec des performances difficilement égalées dans le monde open source, aussi bien en termes de latence que de débit. De plus en plus, il est devenu la principale épine dorsale des architectures Big Data, notamment dans la construction de pipelines pouvant supporter de gros volumes de données dans un contexte quasi temps réel.

Dans cette présentation, nous découvrirons les choix d'architectures et d'implémentations qui procurent à Kafka ses performances tant vantées. Puis dans une seconde partie, nous explorerons quelques optimisations pour une utilisation effective à large échelle de Kafka.

Sam Bessalah (https://twitter.com/samklr) est ingénieur freelance passionné de programmation, calcul distribué, data engineering, machine learning ou encore développement web. Très présent autour des sujets Big Data que ce soit sur l'aspect architecture système (Hadoop, Mesos, Kafka, ...) ou analyse de données (Machine learning, Modèles mathématiques, ...), on le retrouve à Devoxx (http://fr.slideshare.net/samkiller/mesosdevoxx14) ou encore plus récemment en interview chez LesCastCodeurs (http://lescastcodeurs.com/2014/12/22/lcc-115-interview-de-sam-bessalah-sur-la-data-science-hadoop-et-mesos/).