Past Meetup

November Meetup - Hadoop to Elasticsearch

This Meetup is past

60 people went

Location image of event venue

Details

Retours d'expériences de projets Big Data : De Hadoop à ElasticSearch, comprendre par la pratique, c'est plus sympa, non ?

-----------------------------------------------------------------------

L'atelier démarrera sous forme de jeux accessibles à tous afin de comprendre rapidement des concepts liés aux infrastructures distribuées, illustrés par des exemples projets datascience du domaine agricole.
Il y aura également une partie plus technique pour ceux qui veulent avec une mise en pratique via Elasticsearch.

L'idée est de vous confronter aux problématiques rencontrées dans nos projets lors de la mise en place et le maintien d'une plateforme Hadoop + ElasticSearch

Nous prévoyons 3 animateurs pour ce meet-up avec des profils bien différents:
Un animateur Data Scientist, un Data Engineer et enfin un Data Architect.

Alexandre - Data Scientist et agronome:
Utiliser la Data Science afin de répondre aux nouveaux enjeux agricoles et apporter des solutions innovantes aux agriculteurs.

Nordine - Data Engineer:
J'ai pris conscience de la nécessité de mettre en place des solutions pour faire face aux flux croissants de données et hétérogènes. C’est naturellement que j'ai développé un intérêt pour la gestion de données aux travers des technologies du big data.

Patrick - Data Architect: Passionné par les nouvelles technologies en lien avec la data. Je travaille depuis 2 ans chez Smag sur la mise en œuvre d'une plateforme BigData avec Hadoop et ElastiSearch, support de solutions innovantes.

-----------------------------------------------------------------------
Organisation:
Nous allons vous mettre les liens des jeux de données et logiciels qui sont utilisés dans les ateliers. Vous pourrez ainsi programmer si vous le souhaitez.

Préparation de l'atelier ElasticSearch:
Dans cet atelier, nous allons utiliser une image docker, si vous souhaitez manipuler en séance (non obligatoire), vous devez suivre l'installation suivante avant l'atelier:
- Installer Docker sur son post (peut nécessiter d'activer la virtualisation dans le Bios)
o Windows https://store.docker.com/editions/community/docker-ce-desktop-windows
o Ubuntu https://store.docker.com/editions/community/docker-ce-server-ubuntu
o Autres https://store.docker.com/search?offering=community&type=edition
- Exécuter les lignes de commande docker :
o docker pull sebp/elk
o docker run -p 5601:5601 -p 9200:9200 -p 5044:5044 -it --name elk sebp/elk
- ELK : http://localhost:9200
- Kibana : http://localhost:5601