BigDataSchool

5 дней практического обучения установке и настройке кластера Hadoop, безопасность Kerberos, Apache Sentry, Cloudera Navigator, мониторинг, репликация и резервное копирование, взаимодействие с компонентами экосистемы Hadoop: Spark, Hive, sqoop, HDFS, MapReduce. Курс построен на сквозных практических примерах развертывания и администрирования Hadoop кластера, в том числе в облачной инфраструктуре; использования компонент Hadoop для запуска задач распределенных вычислений с тестовыми данными. Практические занятия выполняются в кластерной среде Amazone Web Services с использованием дистрибутивов Cloudera Distributed Hadoop и программного обеспечения управления кластером Cloudera Manager. Программа курса 1. Введение в Big Data 2. Архитектура Apache Hadoop 3. Hadoop Distributed File System 4. MapReduce 5. Дизайн кластера Hadoop 6. Установка кластера 7. Операции обслуживания кластера Hadoop 8. Оптимизация и управление ресурсами 9. Управление кластером Hadoop с использованием Apache Ambari 10. Безопасность Hadoop 11. Мониторинг 12. Troubleshooting 13. Инструментарий Hadoop экосистемы дистрибутива HortonWorks/ Arenadata Hadoop регистрация на курс: https://www.bigdataschool.ru/bigdata/hadoop_cluster_administrator.html или по телефону [masked]

Цифровая трансформация бизнеса - это процесс перехода от типовой модели бизнеса процессов к модели с интеграцией цифровых технологий во все аспекты бизнес-деятельности, требующий внесения коренных изменений в технологии, культуру, операции и принципы создания новых продуктов и услуг. В рамках вебинара мы поговорим о жизненном цикле процесса Data Mining, важности и особенностях каждого из этапов: - Data exploration (Накопление данных) - Data Preparation (Подготовка данных) - Model Planing (Планирование модели) а также о деталях реализации каждой фазы применительно к технологиям работы с большими данными, построению корпоративного Data Lakes и организацию каналов (pipelines) поступления данных, подготовки и очистки больших данных для выбора модели. В процессе вебинара мы также познакомимся с моделью уровней зрелости организации для внедрения Data Lakes и стандартами CRISP-DM, SEMMA для управления жизненным циклом Data Mining.

2х-дневный практический курс по Apache NiFi разработан для специалистов отвечающих за администрирование, настройку и сопровождение потоков данных в Data Lake на базе кластера Apache NiFi. Программа курса 1. Введение в Apache NiFi Архитектура Hadoop Data Flow Архитектура решения и ключевые концепции Apache NiFi : FlowFile processor connector FlowFile Repository Content Repository Provenance Repository Data Lineage и Data Provenance( Data Provenance Events) Функционал NiFi по управлению потоком: гарантированная доставка управление каналом (буферизация, pressure) QoS версионность 2. Администрирование NiFi Установка и настройка кластера Apache NiFi Управление кластером NiFi Создание NiFi DataFlow Добавление процессора, возможности масштабирования, работа с атрибутами и свойствами Процессорные группы (Remote Processor Group) Использование NiFi шаблонов Оптимизация DataFlow Инструменты мониторинга и уведомлений NiFi Apache NiFi Registry версионность и поддержка production deployment 3. Интеграция и масштабирование Вертикальное и горизонтальное масштабирование и отказоустойчивость NiFi Доступные расширения и готовые «из коробки» процессоры и коннекторы Возможности интеграции кластера NiFi (consumer/provider) с Kafka Apache Nifi vs. MiniFi Интеграция Apache Kafka, NiFi, MiNiFi Типовые сценарии/схемы Подробнее https://www.bigdataschool.ru/bigdata/admin-apache-nifi.html

Материал курса обеспечивает слушателей знанием базовых и расширенных аналитических методов и техник, применяемых для поиска и извлечения знаний из больших массивов разнородных данных. Сравнение различных версий дистрибутивов платформы Hadoop, облачные сервисы для хранения и аналитики данных, «open source« и коммерческие инструменты используемые для хранения, обработки, визуализации и аналитики больших данных. Программа курса Введение в Big Data (Большие данные) Большие данные и цифровая трансформация Методы аналитики больших данных Отраслевая специфика аналитики больших данных Жизненный цикл аналитики данных: Получение данных, подготовка данных, планирование модели, построение модели, проверка результатов, внедрение Data Mining — извлечение знаний из больших данных Задачи Data Mining Техники Data Mining Классификация и кластеризация Прогнозирование и визуализация Ассоциативные правила и обнаружение аномалий Методология CRISP-DM Инструменты Data Mining Специфика применения Data Mining для разных отраслей бизнеса с примерами Машинное обучение для Data mining Основные определения Задачи и область применения машинного обучения Supervised/unsupervised машинное обучение Инструменты и технологии машинного обучения Data mining в социальных сетях Введение в анализ социальных сетей и теорию графов Базовые алгоритмы на графах и основные возможности графового анализа Феномен маленького мира Выделение важных узлов в социальных сетях Инструменты и методы визуализации графов для применения в бизнесе Инструментарий для работы с Big Data Специфика работы с Big Data Аналитика для неструктурированнных данных с использованием Hadoop Назначение и характеристика компонент экосистемы Apache Hadoop для хранения и обработки Big Data (MapReduce, HDFS, YARN, Spark, HBase, Hive, и т.д.) Сравнительный анализ Hadoop дистрибутивов (Cloudera, Horton Works, MapR) и инструментария аналитика данных на примерах использования Сравнительные характеристики программных и аппартных решений для реализации решений по Big Data Облачные платформы (AWS, EMR, Azure) для реализации решений по Big Data Средства визуализации для аналитики данных. Интеграция Больших данных Основные принципы работы с Big Data Импорт и экспорт данных с Hadoop (SQL, NoSQL, HDFS, NFS, потоковые данные, web content, файлы логов, социальные сети) Пакетная и динамическая загрузка данных Правовые аспекты организации защиты персональных данных Правовое регулирование в области защиты персональных данных Международная практика в области защиты персональных данных Права субъекта и обязанности оператора при обработке персональных данных Виды нарушений безопасности персональных данных GDRP С чего начать? Формирование команды проекта Big Data. Ключевые роли Специфика рынка данных и аналитики Отличия подходов Business Intelligence и Data Science Сравнительные характеристики программных и аппаратных решений для реализации решений по Big Data. Подробнее о наших курсах https://www.bigdataschool.ru/bigdata/big_data_analytics_for_executives.html