Webinar: Upravljanje tokom obrade podataka koristeći Apache Airflow

Đorđe Marjanović - data engineer u kompaniji Content Insights (https://contentinsights.com/) govoriće o upravljanju tokom obrade podataka koristeći Apache Airflow.

Upravljanje radnim tokovima postalo je uobičajena potreba većine kompanija koje automatizuju svoje procese obrade podataka. Ovi procesi moraju se izvoditi prema rasporedu i obično imaju skup zavisnosti od drugih procesa. Uvek postoji jednostavni cron job za početak rada. Sledeći korak napred su skripte koje pokreću druge skripte i to može da funkcioniše na kratko vreme. Zatim se pojavljuju jednostavni alati za rešavanje problema poput skladištenja statusa ovih procesa i njihovih zavisnosti. Obično ova rešenja rastu reaktivno, ali ne omogućavaju jednostavno skaliranje.

Fokus ove prezentacije biće Apache Airflow platforma za kreiranje, izvršavanje i monitoring tokovima radnih procesa. Ovaj open-source alat omogućava beskonačno skaliranje i koriste ga kompanije kao što su Airbnb, Google, Lyft, PayPal i dr. U januaru 2019. godine proglašen je za Top-Level projekat Apache Software Foundation.

Cilj prezentacije je da se slušaoci upoznaju sa ovim alatom, njegovim mogućnostima i načinom funkcionisanja. Takođe, biće pokazano kako firma Content Insights koristi Airflow.

Predavanje može biti korisno svim data science entuzijastima, posebno data inženjerima, kao i svim software developerima.

Ovo će biti još jedan u nizu webinara koje Data Science Srbija planira da organizuje svakog četvrtka u narednom periodu.

Svi prijavljeni će moći da prate webinar preko zoom aplikacije. Link za pristup: https://zoom.us/j/95104175673

Vidimo se.