Sparkathon - Developing Hadoop YARN Applications in Scala

WAŻNE: Koniecznie zainstaluj Hadoop 2.7.3 lub (lepiej) Hadoop 3.0.0-alpha2.

Pobierz Hadoop 3.0.0-alpha2 z https://archive.apache.org/dist/hadoop/common/hadoop-3.0.0-alpha2 (lub zainstaluj wersję na Twój system operacyjny, np. brew na macOS).

Dobrze byłoby, abyś przed spotkaniem odpalił jednowęzłowy klaster YARN (skorzystaj z YARN on a Single Node (https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html#YARN_on_a_Single_Node)).

Sparkathon w Warszawie z Apache Spark 2.1 (http://spark.apache.org/releases/spark-release-2-0-1.html).0 / Scala 2.11.8 (http://www.scala-lang.org/news/2.11.8/) / sbt 0.13.13 (http://www.scala-sbt.org/) / IntelliJ IDEA 2016.3 (https://blog.jetbrains.com/idea/2016/11/intellij-idea-2016-3-ga-java-8-and-es6-debugger-and-ui-improvements-and-a-ton-more/) (ze Scala plugin!). Koniecznie musisz do nas wpaść i spróbować swoich sił w rozszerzaniu możliwości swoich i Sparka!

Celem spotkania jest nauka Scali i Sparka (lub odwrotnie) w miłej atmosferze. Wszyscy mile widziani - początkujący i zaawansowani - i każdy powinien znaleźć coś dla siebie. Będziemy rozszerzali możliwości platformy Spark, więc tworzenie własnych formatów korzystając z DataSource API w Spark SQL lub job schedulers czy streaming sinks to norma. Nie martw się, to naprawdę proste w takim gronie!

"Ludzie i technologie" - tego nie można nie lubić!

Pracujemy w parach i postanowiliśmy, że od tego spotkania będziemy wszyscy pracowali nad jednym tematem, chyba że para (już samodzielnie) postanowi inaczej. Jest z czego wybierać i uczyć się Scali i Sparka.

Na spotkania przychodzi 5-8 osób. Daje to okazję do rozmowy o Sparku i Scali w zasadzie do woli.

Pomysły do oprogramowania zbieramy w dokumencie Spark-a-thon - Development Activities (https://gist.github.com/jaceklaskowski/aea9596c22f25f7e43d3786352863032) (aktualizowany na bieżąco, więc polecamy przeglądać historię zmian).

Weź laptopa z Java SE 8, sbt 0.13.13, i IntelliJ IDEA (z wtyczką do Scali). Pobierz kody źródłowe Sparka z the Spark repo (https://github.com/apache/spark) lub po prostu skorzystaj z Spark 2.1.0 (http://spark.apache.org/news/spark-2-0-0-released.html). The real fun is on master!

Polub nas na Facebooku (https://www.facebook.com/events/1799863096967199/)! RTuj na twitterze (https://twitter.com/warszawscala/status/768086951845134338).

Pytania? Uwagi? Sugestie? Skorzystaj z możliwości komentowania poniżej!

Official language: Polish + Scala.