WHUG 9. Wprowadzenie do Apache Oozie (Piotr Dendek) i YARN (Adam Kawa)

Serdecznie zapraszamy na pierwsze w tym roku spotkanie WHUG, na ktrórym przygotowane będą dwie 35-minutowe prezentacje:

Prezentacja 1:

Temat: Wprowadzenie do Apache Oozie

Prelegent: Piotr Dendek (ICM UW)

Apache Oozie jest narzędziem do zarządzania procesem wykonywania zadań na klastrze Hadoop (zaimplementowanych w Javie, Apache Pig, Hive, Sqoop, etc.). Pozwala ono na wykonanie w określonych ostępach czasu ciągu zadań (znajdujących się w węzłach acyklicznego grafu skierowanego),
uwzględniając przy tym obsługę błędów oraz logując niezbędne do ich obsłużenia informacje.

Apache Oozie doskonale sprawdza się w bardziej rozwiniętych sieciach wykonania, a prostota jego użycia pozwala przenieść uwagę z zarządzania uruchamianiem zadań na poprawę jakości skryptów.

Po tej prezentacji osoby wykorzystujące do podobnych zadań Basha z pewnością zmienią zdanie.

Prezentacja 2:

Temat: Wprowadzenie do YARN

Prelegent: Adam Kawa (Spotify)

Choć Hadoop jest powszechnie uważany za stabilne, skalowane i efektywne cenowo rozwiązanie, wiele osób wciąż pracuje nad rozwojem tego oprogramowania. W rezultacie całkiem niedawno powstała wersja 2.0 oferująca wiele rewolucujnych zmian dotyczących architektury klastra Hadoop tj. YARN, HDFS Federation oraz NameNode HA, dzięki którym Hadoop-owy klaster jest jeszcze bardziej wydajny i stabilny.

W czasie tej prezentacji przedstawię YARN oraz opowiem o jego zaletach w porównaniu do "tradycyjnej" warstwy obliczeniowej zaimplementowanej w starszych wersjach Apache Hadoop.

Do zobaczenia!