Retour expérience S3 / Hadoop

Dans le cadre d'un projet de sauvegarde de données issu du monde Big Data Hadoop stocké sur le système de fichier HDFS,
Michael Bonfils d'OpenIO vous présentera leur retour d'expérience sur la mise en place de cette solution sur leur offre de stockage objet OpenIO SDS, dont la gateway est issue d'un fork de Swift + Swift3 d'Openstack.

Ce meetup, après avoir fait un bref rappel sur Hadoop / HDFS & l'API S3 d'Amazon, mettra l'accent sur la possibilité de customisation de cette gateway en Python par quelques pistes d'améliorations que nous avons mis en oeuvre.

Openstack Swift: https://docs.openstack.org/swift/latest/
Module compatibilité S3: https://docs.openstack.org/swift/latest/middleware.html#module-swift.common.middleware.s3api.s3api
HDFS Hadoop: https://www.tutorialspoint.com/hadoop/hadoop_hdfs_overview.htm
OpenIO SDS: https://openio.io / https://github.com/open-io

En seconde partie, une présentation rapide du protocole de communication MQTT, orienté IOT (mais pas que), aura lieu avec un petit exemple live avec l'utilisation des serveurs publiques (sous réserve).

MQTT: http://mqtt.org/

Et à la fin un apéro conviviale pour clore la session !