Otwarty warsztat "Hadooop Troubleshooting" z GetInData
Details
W imieniu firmy GetInData (http://getindata.com) chcielibyśmy zaprosić Was na otwarte warsztaty poświęcone naprawianiu problemów na klastrze Hodoop. Poniżej szczegóły.
Temat: Hadooop Troubleshooting Workshop with GetInData
Opis: Każdy z uczestników warsztatu otrzyma dostęp do prawdziwego, wielowęzłowego klastra Hadoop. Na tym klastrze administratorzy GetInData będą uruchamiać tajemnicze skrypty i komendy, które spowodują, że klaster ulegnie awarii lub (częściowo) przestanie działać. Twoim celem będzie zdiagnozowanie, co jest źródłem problemu na klastrze oraz zaproponowanie rozwiązania. Każdy "incydent" będzie również pretekstem, żeby porozmawiać o działaniu Hadoop, jego wewnętrznych mechanizmach związanych ze stabilnością i odpornością na awarię. Skupimy się głównie na komponentach HDFS i YARN oraz opowiemy o metodyce diagnozowania błędów na klastrze. Choć użyjemy dystrybucji Cloudera, to administratorzy Hortonworks też sobie poradzą.
Agenda
Introduction to Hadoop debugging
• [Slides] Troubleshooting tips
• [Setup] Connecting a remote training cluster (SSH, Web UI, Admin console)
[Incident] Authorization error when reading a file in HDFS
HDFS High-Availability
• [Slides] Understanding HDFS High-Availability
• [Incidents] Fixing issues with HDFS HA
YARN Scheduler
• [Slides] Review of Capacity Scheduler
• [Incidents] Investigating why jobs doesn't get enough resources or there are bottlenecks in YARN queues
Dla kogo: Administratorzy oraz osoby pracujące w metodyce DevOps. Niezbędne jest podstawowe praktyczne doświadczenie z pracy w klastrze Hadoop. Zakładamy, że uczestnik wie co to jest NameNode i NameNode HA, zna najważniejsze zasady przydzielania kontenerów w YARN oraz potrafi korzystać z HDFS CLI, przeglądać logi demonów Hadoop, a także rozumie informacje przedstawione na konsolach webowych HDFS i YARN. Mamy tylko 19 miejsc, więc prosimy o zapisywanie się osób, które faktycznie pracują nad instalowaniem i zarządzaniem klastrami Hadoop.
Co zapewniamy: Klaster szkoleniowy (jeden dla całej grupy, jeśli ktoś coś zepsuje, to reszta musi pomóc naprawić :)). Do tego pizza, woda, kawa, ciastka oraz rzemieślnicze piwo (swoje ulubione piwo też można przynieść ;).
Prowadzący: Adam Kawa i Piotr Bednarek (obaj GetInData). Na własne oczy widzieli dużo problemów z Hadoop-owym klastrami - przykłady można zobaczyć tutaj (http://www.slideshare.net/AdamKawa/hadoop-adventures-at-spotify-strata-conference-hadoop-world-2013/) i tutaj (http://www.slideshare.net/AdamKawa/hadoop-operations-powered-by-hadoop-hadoop-summit-2014-amsterdam).
PS. W GetInData poszukujemy administratora do pracy z bardzo dużym klastrem Hadoop (tysiące węzłów) wykorzystywanym do biznesowo-krytycznych obliczeń. Duży nacisk na automatyzację (Puppet, Ansible), bezawaryjność (+99% up-time), monitoring, dobre praktyki wdrożeniowe (m.in. testowanie na środowisku testowym, a nie na produkcji ;). Unikalna okazja do nauki i zebrania dużego doświadczenia w naszym zespole. Można śmiało aplikować na info@getindata.com.
Otwarty warsztat "Hadooop Troubleshooting" z GetInData