Skip to content

Курс повышения квалификации "Apache Kafka кластер администратор"

Photo of Nick Komissarenko
Hosted By
Nick K.
Курс повышения квалификации "Apache Kafka кластер администратор"

Details

3x дневный практический курс по установке и настройке кластера Apache Kafka, распределенной потоковой обработки событий (Event Stream Processing), конфигурации безопасности Kerberos, интеграция с Apache NiFi, Spark, Flume, Zookeeper.
Программа курса Apache Kafka
Введение в Apache Kafka
Что такое Kafka?
Сценарии использования Kafka
Компоненты Kafka и Kafka экосистемы
Архитектура Kafka
Кластер Zookeeper
Потоковая Обработка Событий(Event Stream Processing): — Терминология и основные концепции. Сравнение Hadoop и Spark
Основные концепции Kafka
Как работает Kafka: Топики (Topics) и партиций (Partitions). Репликация данных.
Брокеры (Brokers): Развертывание. Конфигурация Multibroker
Поставщики данных (Producers): Типы партиций. Синхронные и асинхронные Producers. Параметры конфигурации. Java API
Потребители данных (Consumers): Очереди Consumers. Широковещание (Broadcasting).
Установка кластера Kafka
Требования по установке кластера Kafka
Установка и настройка кластера Zookeeper: Настройка кворума. Конфигурация сервисов и файловой системы. Оптимизация и отказоустойчивость Zookeeper.
Установка и настройка кластера Kafka: Планирование установки и sizing кластера Kafka. Типовые проблемы при установке. Запуск и первоначальное конфигурирование Kafka. Конфигурация Listeners. Отказоусточивость кластера Kafka. Kafka менеджер.
Установка кластера Kafka на AWS
Базовые операции в Kafka
Операции с Топиками (Topic)
Публикация данных с консольного Producer
Получение данных с консольного Consumer
Пользовательские интерфейсы топика Kafka (Topics UI)
Написание кода producer
Написание кода consumer
Оптимизация кластера Apache Kafka
Оптимизация производительности компонент кластера
Масштабирование кластера
Балансировка разделов(partition) и использование Partition Reassignment Tools
Best Practices
Мониторинг кластера Kafka
Настройка мониторинга кластера Apache Kafka (Confluent) с использованием Prometheus + Grafana
Интеграция с Kafka
Интеграция Spark и Spark Streaming
Интеграция потоковой обработки Spark Streaming и Kafka
Использование Apache NiFi
Интеграция Apache Flume с Kafka
Расширенная конфигурация кластера Apache Kafka
Расширенная конфигурация топиков (Topic): Изменение конфигурации топиков. Sizing(количество партиций и фактор репликации). Сегменты и индексы. Политика очистки логов (Log Cleanup Policy). Сжатие и консолидация данных в логах.
Пользовательский интерфейс Landoop Kafka Topics
Confluent REST Proxy
Настройка Confluent Schema Registry
Архитектура Kafka Connect
Безопасность в Kafka
Шифрование SSL: Установка центра сертификатов (CA), настройка SSL для Kafka кластера и клиентов
Аутентификация SSL/SASL
Аутентификация Kerberos: Настройка Kerberos. Keytabs и principals. Настройка кластера Kafka и клиентов для поддержки Kerberos
Авторизация в Kafka
Управление списками управления доступом (ACL)
Зарегистрироваться на курс https://www.bigdataschool.ru/bigdata/apache-kafka-cluster-administrator-course.html
или по телефону +7 915 307 00 74

Photo of BigDataSchool group
BigDataSchool
See more events
Бизнес-Депо
ул.Илимская д5. корп.2 офис 303 · Москва, al