KAFKA: Курс Администрирование кластера Kafka — обучение по программе в России

Что такое Apache Kafka? Сценарии использования Kafka Компоненты Kafka и Kafka экосистемы Архитектура Kafka Кластер Zookeeper ( Установка кластера Kafka без использования Zookeeper KIP-500)

Как работает Kafka: Топики (Topics) и партиций (Partitions). Репликация данных. Брокеры (Brokers): Развертывание. Конфигурация Multibroker Поставщики данных (Producers): Типы партиций. Синхронные и асинхронные Producers. Потребители данных (Consumers): Очереди Consumers.

Требования по установке кластера Kafka Установка и настройка кластера Zookeeper: Настройка кворума. Конфигурация сервисов и файловой системы. Оптимизация и отказоустойчивость Zookeeper. Установка кластера Kafka без использования Zookeeper KIP-500 Установка и настройка кластера Kafka: Планирование установки и sizing кластера Kafka. Типовые проблемы при установке. Запуск и первоначальное конфигурирование Kafka. Конфигурация Listeners. Отказоустойчивость кластера Kafka. Установка кластера Kafka на Yandex Cloud

Операции с Топиками (Topic) Публикация данных с консольного Producer Получение данных с консольного Consumer Пользовательские интерфейсы для работы с Kafka

Оптимизация производительности компонент кластера Масштабирование кластера Балансировка разделов(partition) и использование Partition Reassignment Tools Best Practices Kafka/Confluent Мониторинг кластера Kafka Настройка мониторинга кластера Kafka с использованием Prometheus/Zabbix + Grafana

Использование Apache NiFi Интеграция Apache Hadoop с Kafka Сценарии интеграции с Apache Kafka

Расширенная конфигурация топиков (Topic): Изменение конфигурации топиков. Sizing (количество партиций и фактор репликации). Сегменты и индексы. Политика очистки логов (Log Cleanup Policy). Сжатие и консолидация данных в логах. Confluent REST Proxy. Confluent Schema Registry (обзорно) Репликация кластера с использованием Mirror Maker 2

Шифрование SSL: Установка центра сертификатов (CA), настройка SSL/TLS для Kafka кластера и клиентов Аутентификация SSL/SASL Аутентификация Kerberos: Настройка Kerberos. Keytabs и principals. Настройка кластера Kafka и клиентов для поддержки Kerberos Авторизация в Kafka Управление списками управления доступом (ACL)