Learning Platform
Начальный
3 минут
Итоги CDC Debezium

Итоги модуля 1: Введение в CDC

Что вы изучили

В этом модуле вы познакомились с основами Change Data Capture и развернули первый Debezium коннектор.

Ключевые концепции

CDC Fundamentals

  • Polling vs Log-based: Log-based CDC не нагружает базу запросами
  • Гарантии доставки: Каждое изменение захватывается ровно один раз
  • Минимальная задержка: Изменения доступны за секунды

Debezium Architecture

  • Kafka Connect: Платформа для коннекторов
  • Source Connectors: Захват изменений из баз данных
  • Kafka Topics: Хранение и доставка событий

Lab Environment

  • Docker Compose: Готовое окружение для практики
  • Сервисы: PostgreSQL, Kafka KRaft, Connect, JupyterLab
  • Порты: 5432, 9092, 8083, 8888

Event Structure

  • Envelope: schema + payload + source
  • Операции: r (snapshot), c (create), u (update), d (delete)
  • Source metadata: lsn, txId, timestamp

Навыки

После прохождения модуля вы умеете:

  1. Развернуть Debezium коннектор через REST API
  2. Мониторить статус коннектора и replication slot
  3. Консьюмить CDC события на Python
  4. Парсить Debezium envelope формат
  5. Различать snapshot и streaming события

Что дальше?

Модуль 2: PostgreSQL и Aurora

Глубокое погружение в PostgreSQL logical replication:

  • WAL configuration (wal_level, max_replication_slots)
  • Replication slots lifecycle и мониторинг
  • Aurora PostgreSQL специфика
  • Snapshot strategies

Закончили урок?

Отметьте его как пройденный, чтобы отслеживать свой прогресс