Kafka и вокруг нее

Выходные данные не указаны. Дайджест выполнен для личного употребления Krocodl (https://www.linkedin.com/in/victoralekseev/) в 2020-ом году. 105 с.
Отражает исключительно субъективный взгляд автора.
Бесплатен для любого некоммерческого использования.Выполнен на основании следующей литературы:
Neha Narkhede, Gwen Shapira, Todd Palino "Kafka: The Definitive Guide"
Jakub Korab "Understanding Message Brokers"
Dylan Scott "Kafka in Action"
Yeva Byzek "Best Practices for Developing ApacheKafka Application Confluent Cloud"
Всяческие статьи, главным образом с Habr и MediumВведение:
Основные понятия
Основные виды API
Основные этапы эволющии
Общие решенияУстановка:
Apache ZooKeeper
Установка Kafka
Выбор железа
Настройка кластера для реальной эксплуатацииProducers:
Создание KafkaProducer
Сериализация
TimeStamp
Обработка ошибок
Ручное управление разделами
Интерцепторы
Работа с транзакциямиConsumers:
Перебалансировка разделов
Потребление записей
Тюнинг потребителей
Адресация сообщений
Подтверждение потребляемых записей
Участие в перебалансировке
Ручное управление смещениями
Автономный (без группы) потребитель
Масшибируемость чтения
Ошибки обработки сообщений
Интерцепторы
ТранзакцииВнутреннее устройство:
Основные действующие лица
Обработка запросов
Физическое хранениеНадежность доставки данных:
Настройка брокера
Настройка производителей
Настройка потребителей
Однократная доставка данных (EOS, exactly-once semantics)Оптимизация:
Пропускная способность (Throughput)
Время отклика (Latency)
Надежность хранения (Durability)
Доступность(Availability)Интеграция:
Основные функциональные требования
Использование
Архитектура
АльтернативыЗеркалирование кластеров:
Мульти кластерные архитектуры
Mirror MakerТестирование:
Проверка конфигурации
Тестирование производительностиАдминистрирование:
Операции с темами
Группы потребителей
Управление смещениями
Динамическое управление конфигурацией
Управление разделами
Анализ журналов
Потребление / генерация из командной строки
Управление доступом клиентов
Ручные операции через ZooKeeper
Обслуживание собственно кластера
Программное администрированиеБезопасность:
Защита взаимодействия
Права доступа
Квоты
Шифрование данныхМониторинг:
Показатели брокеров
Собственные логи (которые через log4j)
Показатели производителей
Показатели потребителей
Квоты
Мониторинг отставания
Сквозной мониторинг
Комплексные системы мониторингаОбработка потоков данных:
Таблично-потоковый дуализм
Некоторые сценарии
Основные понятия
Шаблоны проектирования
Типовые сценарии
Введение в Kafka Stream DSL
Введение в KSQLKafka vs JMS (на примере ActiveMQ):
Хранение сообщений
Общая архитектура
Отправка сообщений
Потребление сообщений
Масштабирование и отказоустойчивость
ИтогоПриложение I: MQ и ActiveMQ