[DevHands] Интенсив по очередям: Kafka и NATS (Владимир Перепелица)

Изучите архитектуру и принципы работы брокеров и очередей за максимально короткий срок, даже не обладая опытом работы в хайлоад-проектах О курсе Погрузиться в «мир брокерев и очередей» за максимально короткий срок, даже не обладая опытом работы в хайлоад-проектах Изучить асинхронное взаимодействие с помощью очередей: подходы, свойства и гарантии Получить практику использования очередей на Python или Golang Изучить и сравнить Kafka/Rabbit/NATS/Redis: Архитектуру проектов, и чем они отличаются На что нужно смотреть при использовании очереди Как правильно конфигурировать системы очередей Ваши цели в обучении Получить навыки проектирования с использованием самых «топовых» систем очередей: Kafka и NATS Получить фундамент компетенций архитектора сложных, высоконагруженных информационных систем Получить навыки масштабирования и обеспечения надежности систем, использующих очереди Получить навыки сравнения и выбора систем очередей под конкретную задачу Программа обучения Встречи: 2.5 недели (2 встречи в неделю) Живые лекции и живые демо с ведущим, Владимиром Перепелицей. Ведется запись, ссылка выкладывается в чат. С первого же занятия мы выдаем доступ к настроенной инфраструктуре для выполнения практических заданий + можно забрать докер-образ. Все встречи начинаются в 17:00 МСК (GMT+3), проходят в Zoom. Ссылка на Zoom-митинг «запинена» в чате. Занятие 1 Вводная теория по очередям. Для чего нужны очереди и где они применяются. Подходы в использовании очередей. Основные системы очередей (брокеры и сервисы) их плюсы и минусы. Алгоритмическая составляющая очередей. Как достигнуть exactly once? Топологические схемы систем очередей. Золотые правила мониторинга очередей Занятие 2, 3 Apache Kafka. Архитектура Apache Kafka. Основные понятия, свойства и принципы Потоковая обработка с помощью Kafka Streams. Сценарии применения. Практика. Пошаговый запуск Kafka в различной конфигурации от минимального single instance до production grade кластера с отказоустойчивостью. Разбор основных настроек кластера и на что они влияют. Базовая реализация клиентов на Python и Go Занятие 4 Достижение консистентности между БД и очередью. Transactional Outbox. Deduplication key. Практика: Реализация “сценария оплаты” между двумя БД (postgresql) с использованием очереди Занятие 5 Обзор архитектуры NATS. Ключевые подходы и компоненты (pub/sub, req/res, streaming). Кластеризация (кластер, суперкластер, федерация, edge). Практика: запуск суперкластера и разбор сценариев. Автор курса: Владимир Перепелица Эксперт по большим проектам, очередям и TarantoolРегулярный спикер и член ПК конференций HighloadСоздатель S3 в VK Cloud