Silesia JUG #34 - Apache Spark job - how to build quality in?

Zapraszamy na 34 spotkanie Silesia JUG!

Abstrakt:
Apache Spark jest narzędziem do przetwarzania danych na dużą skalę. Zastosowanie tego narzędzia w rozproszonym środowisku, w celu przetwarzania dużych zbiorów danych daje ogromne korzyści.

Ale co z szybką pętlą zwrotną podczas opracowywania aplikacji z użyciem Apache Spark? Testowanie aplikacji w klastrze jest niezbędne, lecz nie wydaje się być tym, do czego większość programistów przywykło podczas praktykowania TDD.

Podczas wystąpienia, Łukasz Gawron podzieli się z Wami kilkoma wskazówkami, jak można napisać testy jednostkowe oraz integracyjne uruchamiane podczas budowania projektu.
Dowiecie się jak projektować aplikację, aby była testowalna. Łukasz podzieli się także dobrymi praktykami oraz problemami, na które należy uważać podczas pracy z testami do Apache Spark.

Przykłady będą prezentowane w narzędziu ScalaTest i powinny być łatwe do zrozumienia dla osób znających Scalę i inne języki JVM.

Bio:
Łukasz Gawron od ponad 8 lat współtworzy aplikacje dla branży wideokonferencyjnej, transportowej oraz sportowej. Przez ostatnie 5 lat pracuje w Perform nad systemami backendowymi, integrując dane z wielu źródeł oraz eksperymentuje, jak takie systemy efektywnie testować. Fan stosowania metodyk Lean, Agile i DevOps. Interesuje się systemami rozproszonymi, CI/CD, czystym kodem oraz przetwarzaniem dużych danych.

Czas trwania: ok. 50 min + Q&A

Transmisja:
Meeting number: 806 562 013
Meeting password: SilesiaJUG2018
Meeting link: https://jamf.webex.com/jamf/j.php?MTID=m01ba5ae5bc16bac0f4f76b14994c54d7

Zapraszamy!