AIRF: КУРС APACHE AIRFLOW

3-хдневный практический курс Data Pipeline на Apache Airflow и Apache Hadoop для аналитиков и инженеров данных, архитекторов и специалистов по настройке и сопровождению потоков данных (Data Flow) в организации и озерах данных под управление Hadoop и AirFlow.

ЧТО ТАКОЕ APACHE AIRFLOW И ГДЕ ЭТО ИСПОЛЬЗУЕТСЯ
Apache Airflow — это open-source набор библиотек для разработки, планирования и мониторинга рабочих процессов. Этот инструмент написан на языке программирования Python и позволяет создавать и настраивать цепочки задач как в визуальном режиме с помощью наглядного web-GUI, так и писать программный код на Python.

AirFlow принято называть ETL-средством для пакетов Big Data, он не является классической ETL-системой, а лишь помогает представить процесс извлечения-преобразования-загрузки данных в виде единого проекта на Python, чтобы удобно и эффективно управлять им.

На практике Apache Airflow используется в следующих случаях:

интеграция множества информационных систем и данных из различных источников (внутренние и внешние базы, файловые хранилища, облачные приложения и пр.);
загрузка информации в корпоративное озеро данных (Data Lake);
организация уникальных конвейеров доставки и обработки больших данных (data pipeline);
управление конфигурацией конвейеров данных как кодом в соответствии с DevOps-подходом;
автоматизация разработки, планирования и мониторинга batch-процессов обработки Data Flow.
Все эти и другие примеры прикладного использования Apache Airflow для управления batch-процессами обработки больших данных разбираются в рамках нашего практического курса.

ПРОГРАММА КУРСА
КОМУ НУЖНЫ КУРСЫ ПО AIRFLOW
Наши курсы обучения по Airflow ориентированы на системных администраторов, инженеров данных (Data Engineer), архитекторов, DevOps-инженеров, разработчиков Hadoop и прочих Big Data систем, которые хотят получить практические знания и навыки по работе с batch-процессами и конвейерами обработки больших данных:

понять, что такое Apache Airflow;
уяснить отличия Airfow от NiFi;
освоить принципы работы с задачами, операторами и DAG’ами;
научиться настраивать рабочее окружение для Airflow;
освоить методы администрирования и мониторинга кластера Airflow;
интегрировать Apache Aiflow с другими Big Data фреймворками (Hadoop, Spark) и внешними системами.
Подробное описание курса
https://www.bigdataschool.ru/courses/data-flow-with-apache-airflow