Distributed Model Training on Apache Spark and Databricks
Details
Zapraszam na kolejne spotkanie online, na którym Jacek Laskowski przedstawi, jak można użyć Apache Spark oraz Databricks do rozproszonego trenowania modeli uczenia maszynowego (Machine Learning oraz Deep Learning) korzystając z następujących projektów:
Skupimy się na mechanizmach Apache Spark, które umożliwiają obsługę obliczeń w modelu MPI (niż MapReduce, które dominuje w Apache Spark) i które dało podstawę do rozproszonego trenowania modeli, a w tym:
- Barrier Execution Mode (Spark Core)
- TorchDistributor (PySpark)
GPU learning on Spark odkładamy na później i nie będzie omawiany podczas tego spotkania. Prezenter musi się najpierw solidniej przygotować 😉
Celem spotkania jest przedstawienie obecnej wiedzy prezentera (to o mnie 😎), jak to działa pod spodem, abyście też wiedzieli (to o Tobie 🫵), ale przede wszystkim stworzenie przestrzeni do wymiany doświadczeń między różnymi grupami teoretyków i praktyków, których łączy korzystanie z projektu Apache Spark i produktu Databricks.
(Daj znać w pytaniu przy rejestracji na meetup, czy takie podejście jest właściwe i co należałoby usprawnić 🙏).
Do zobaczenia!
---
Czegoś brakuje? Coś niejasne? Masz pytania, sugestie lub chcesz pomóc, skontaktuj się ze mną na jacek@japila.pl. Każda pomoc mile widziana!
Proszę o nagłośnienie meetupu wśród Twoich znajomych. Dziękuję i zapraszam!