Курс повышения квалификации "Apache Kafka кластер администратор"

3x дневный практический курс по установке и настройке кластера Apache Kafka, распределенной потоковой обработки событий (Event Stream Processing), конфигурации безопасности Kerberos, интеграция с Apache NiFi, Spark, Flume, Zookeeper.
Программа курса Apache Kafka
Введение в Apache Kafka
Что такое Kafka?
Сценарии использования Kafka
Компоненты Kafka и Kafka экосистемы
Архитектура Kafka
Кластер Zookeeper
Потоковая Обработка Событий(Event Stream Processing): — Терминология и основные концепции. Сравнение Hadoop и Spark
Основные концепции Kafka
Как работает Kafka: Топики (Topics) и партиций (Partitions). Репликация данных.
Брокеры (Brokers): Развертывание. Конфигурация Multibroker
Поставщики данных (Producers): Типы партиций. Синхронные и асинхронные Producers. Параметры конфигурации. Java API
Потребители данных (Consumers): Очереди Consumers. Широковещание (Broadcasting).
Установка кластера Kafka
Требования по установке кластера Kafka
Установка и настройка кластера Zookeeper: Настройка кворума. Конфигурация сервисов и файловой системы. Оптимизация и отказоустойчивость Zookeeper.
Установка и настройка кластера Kafka: Планирование установки и sizing кластера Kafka. Типовые проблемы при установке. Запуск и первоначальное конфигурирование Kafka. Конфигурация Listeners. Отказоусточивость кластера Kafka. Kafka менеджер.
Установка кластера Kafka на AWS
Базовые операции в Kafka
Операции с Топиками (Topic)
Публикация данных с консольного Producer
Получение данных с консольного Consumer
Пользовательские интерфейсы топика Kafka (Topics UI)
Написание кода producer
Написание кода consumer
Оптимизация кластера Apache Kafka
Оптимизация производительности компонент кластера
Масштабирование кластера
Балансировка разделов(partition) и использование Partition Reassignment Tools
Best Practices
Мониторинг кластера Kafka
Настройка мониторинга кластера Apache Kafka (Confluent) с использованием Prometheus + Grafana
Интеграция с Kafka
Интеграция Spark и Spark Streaming
Интеграция потоковой обработки Spark Streaming и Kafka
Использование Apache NiFi
Интеграция Apache Flume с Kafka
Расширенная конфигурация кластера Apache Kafka
Расширенная конфигурация топиков (Topic): Изменение конфигурации топиков. Sizing(количество партиций и фактор репликации). Сегменты и индексы. Политика очистки логов (Log Cleanup Policy). Сжатие и консолидация данных в логах.
Пользовательский интерфейс Landoop Kafka Topics
Confluent REST Proxy
Настройка Confluent Schema Registry
Архитектура Kafka Connect
Безопасность в Kafka
Шифрование SSL: Установка центра сертификатов (CA), настройка SSL для Kafka кластера и клиентов
Аутентификация SSL/SASL
Аутентификация Kerberos: Настройка Kerberos. Keytabs и principals. Настройка кластера Kafka и клиентов для поддержки Kerberos
Авторизация в Kafka
Управление списками управления доступом (ACL)
Зарегистрироваться на курс https://www.bigdataschool.ru/bigdata/apache-kafka-cluster-administrator-course.html
или по телефону +7 915 307 00 74