Azure DATABRICKS - Hands on!

No konečně! Pojďme se potkat než to zavřou!
Po Covidové online pauze Joyful Craftsmen & Czech PASS pořádají zase offline meetup. Tentokrát s datovými profíky Magdalenou Čejkovou a Petrem Paříkem (aka brainiac). Ukážeme si k čemu je a jak se používá Azure Databricks, včetně praktických "hand-on" ukázek.

Co je Databricks

Azure Databricks je flexibilní datová platforma, která se snadno používá pomocí jazyků SQL, Python, R nebo Scala.
Lze využít ke zpracování velkého množství dat, společně s algoritmy strojového učení.
Databricks lze navíc snadno integrovat s mnoha službami Azure, jako je Blob Storage, Data Lake Store, SQL Database a BI nástroje jako Power BI, Tableau atd.

Na meetupu si ukážeme

• Co je Azure Databricks, k čemu lze použít
• příklad architektury, která Databricks využívá
• vytvoříme si file system v Data Lake Storage Gen2 a ukážeme si jak do něj nahrát data
• rozběháme Azure Databricks service a Spark cluster
• založíme notebook v Azure Databricks
• extrahujeme data z Azure Data Lake Storage Gen2 do Azure Databricks
• ukážeme si jak na přípravu dat – základní transformace
• pomocí Pythonu provedeme základní analýzu nahraných dat a natrénujeme jednoduchý klasifikační model

A pokud zbyde čas, můžeme krátce diskutovat o MLflow pro monitoring modelu, které je v Azure Databricks také dostupné.

A kdo meetup uvádí?

Magdalena Čejková
„Jsem vystudovaný statistik, ale hlavně nadšenec pro analýzu dat, který se snaží automatizovat maximum možných operací kolem procesování, vizualizace, reportingu a získávání informací z dat. Díky tomu jsem se postupně propracovala spíše do role datového inženýra a seznámila se s Pythonem. S daty pracuji v různých podobách už 8 let např. ve společnostech Česká pojišťovna, O2, Alza nebo LMC.“

Petr Pařík
„Moje specializace je MS SQL Server a .NET Framework. Mou vášní není samotný vývoj softwaru, ale spíše využití jeho potenciálu pro řešení obchodních problémů. Rád se účastním procesu vývoje softwaru po celou dobu jeho životního cyklu (od shromažďování požadavků až po nasazení kompletního produktu).“

www.joyfulcraftsmen.com
https://www.linkedin.com/company/3761642/