Kafka Connect Sink vs Kafka Engine

Learning Platform

Clickhouse / Модуль 12

Глоссарий Troubleshooting

Я ознакомлен(а) с Пользовательским соглашением и Политикой конфиденциальности, и даю согласие на обработку моих персональных данных.

Курс

01 · Введение в курс ✓

01.01 Что такое ClickHouse 01.02 Предварительные требования 01.03 Настройка среды 01.04 Смена ментальных моделей

02 · Движок хранилища MergeTree ✓

02.01 Анатомия Part: файлы на диске 02.02 Гранулы и Marks 02.03 Разреженный индекс 02.04 Merge Scheduling 02.05 Кодеки сжатия 02.06 INSERT Flow 02.07 Part Naming, Wide/Compact, Sparse Columns

03 · Типы данных и первичный ключ ✓

03.01 Оптимальный выбор типов данных 03.02 LowCardinality: словарное кодирование 03.03 Nullable: цена удобства 03.04 Специализированные типы данных 03.05 Проектирование ORDER BY ключа 03.06 PARTITION BY: жизненный цикл, не оптимизация запросов 03.07 ORDER BY, PRIMARY KEY, PARTITION BY: три ключа, три задачи 03.08 DEFAULT, MATERIALIZED, ALIAS, EPHEMERAL

04 · Семейство движков MergeTree ✓

04.01 MergeTree: фундамент хранилища 04.02 ReplacingMergeTree: дедупликация при merge, не при INSERT 04.03 SummingMergeTree: агрегация счётчиков при merge 04.04 AggregatingMergeTree: паттерн -State/-Merge 04.05 CollapsingMergeTree и VersionedCollapsingMergeTree 04.06 Дерево решений: какой движок выбрать? 04.07 Не-MergeTree движки: специальные задачи

05 · Материализованные представления и проекции ✓

05.01 Инкрементальные MV: триггер на вставку 05.02 MV + AggregatingMergeTree: канонический паттерн 05.03 Подводные камни MV 05.04 Проекции: автоматическая оптимизация 05.05 Refreshable MV: периодическое обновление 05.06 MV vs Projection vs Refreshable MV vs dbt 05.07 Итоги модуля: материализованные представления и проекции

06 · Skip-индексы и словари ✓

06.01 Типы skip-индексов 06.02 Текстовые индексы (inverted) 06.03 Анализ селективности 06.04 SAMPLE BY: приблизительные запросы 06.05 Словари: layout-ы и конфигурация 06.06 dictGet() вместо JOIN 06.07 Итоги модуля: skip-индексы и словари

07 · Внутреннее устройство движка запросов ✓

07.01 Векторизованное выполнение 07.02 EXPLAIN PIPELINE: читаем DAG процессоров 07.03 PREWHERE: фильтрация до чтения 07.04 6 JOIN-алгоритмов 07.05 GLOBAL JOIN для распределённых запросов 07.06 read_in_order: пропускаем сортировку 07.07 New Analyzer (default 24.3+) 07.08 Lazy Materialization (25.4): чтение колонок после фильтра

08 · Паттерны моделирования данных ✓

08.01 Денормализация и широкие таблицы 08.02 Моделирование временных рядов 08.03 Схемы для лог-аналитики 08.04 Медленно меняющиеся измерения (SCD) 08.05 Nested, Map и плоские схемы для событий 08.06 Стратегии дедупликации данных 08.07 Итоги модуля: Data Modeling Patterns

09 · Продвинутый SQL и функции ✓

09.01 Комбинаторы агрегатных функций 09.02 ARRAY JOIN и arrayJoin() 09.03 WITH ROLLUP, CUBE и TOTALS 09.04 Оконные функции 09.05 Строковые и URL-функции 09.06 Bitmap-операции и RoaringBitmap 09.07 Гео и IP-функции 09.08 Устаревшие функции: neighbor, runningDifference, runningAccumulate 09.09 Приближенные функции: uniq и quantile семейства 09.10 Рекурсивные CTE

10 · Распределённая архитектура ✓

10.01 ReplicatedMergeTree и ClickHouse Keeper 10.02 Журнал репликации и восстановление 10.03 Стратегия шардирования и Distributed engine 10.04 Топологии кластера 10.05 Стратегии INSERT 10.06 Кворумные записи и консистентность 10.07 Параллельные реплики 10.08 Replicated database engine 10.09 SharedMergeTree и ClickHouse Cloud 10.10 Операции с Keeper 10.11 Итоги модуля: Распределённая архитектура

11 · TTL, Tiered Storage и Data Lifecycle ✓

11.01 Row-level и Column-level TTL 11.02 Storage Policy и MOVE TTL 11.03 Zero-copy Replication на S3 11.04 Операции с партициями 11.05 Lightweight DELETE 11.06 Lightweight UPDATE и Patch Parts 11.07 Mutations vs Lightweight Ops: сравнение 11.08 Итоги модуля: TTL и Tiered Storage

12 · Паттерны загрузки данных ✓

12.01 Асинхронные вставки 12.02 Kafka Table Engine 12.03 Kafka Connect Sink vs Kafka Engine 12.04 S3: Table Function, Engine и Named Collections 12.05 S3Queue Engine 12.06 MaterializedPostgreSQL и MaterializedMySQL 12.07 FORMAT Clause: Multi-format I/O 12.08 Native и HTTP протоколы 12.09 Delta Lake, Hudi и Iceberg 12.10 Итоги модуля: Паттерны загрузки данных 12.11 ClickPipes: managed ingestion для ClickHouse Cloud

13 · Настройка производительности и профилирование ✓

13.01 EXPLAIN: четыре варианта анализа запросов 13.02 system.query_log: анализ медленных запросов 13.03 Flamegraph из system.trace_log 13.04 Query Result Cache 13.05 Настройка памяти и MemoryTracker 13.06 Mark, Uncompressed и Compiled Expression Cache 13.07 Ключевые настройки производительности 13.08 Query Governance: ограничения и квоты 13.09 Workload Scheduling: управление ресурсами 13.10 Итоги модуля: Настройка производительности

14 · Продвинутые аналитические функции ✓

14.01 windowFunnel: анализ продуктовых воронок 14.02 sequenceMatch и sequenceCount: детекция последовательностей 14.03 retention: когортный анализ удержания 14.04 topK, groupArray и uniqUpTo: паттерны product analytics 14.05 HNSW Vector Similarity и QBit 14.06 Time-Series: паттерны аналитических запросов 14.07 TimeSeries Engine и Prometheus remote write/read 14.08 Итоги модуля: Продвинутые аналитические функции

15 · Production Operations ✓

15.01 Системные таблицы: полная карта диагностики 15.02 SYSTEM-команды: управление сервером 15.03 Grafana + ClickHouse: мониторинг и дашборды 15.04 RBAC: пользователи, роли, политики строк и квоты 15.05 Резервное копирование: BACKUP/RESTORE и clickhouse-backup 15.06 Schema-миграции: стоимость DDL-операций 15.07 Atomic DDL: EXCHANGE TABLES и zero-downtime миграции 15.08 Масштабирование кластера: шарды, реплики, ребалансировка 15.09 Архитектура сервера: thread pools, merge selector, жизненный цикл запроса 15.10 ClickHouse как Prometheus long-term storage 15.11 ClickStack: единый observability-стек на ClickHouse 15.12 Итоги модуля: Production Operations

16 · Интеграции и современные возможности ✓

16.01 dbt-clickhouse: 4 инкрементальные стратегии и кластерный режим 16.02 JSON type (GA 25.3), Variant и Dynamic типы 16.03 clickhouse-local: продвинутые сценарии 16.04 Apache Iceberg: от read-only до bidirectional 16.05 UDF: SQL, Executable и композитные агрегаты 16.06 Архитектуры на ClickHouse: PostHog, Cloudflare, GitLab 16.07 Итоги модуля: Интеграции и современные возможности

Урок 12.03 · 25 мин

Продвинутый

Kafka Connectcomparisonexactly-oncepush model

Доступ закрыт

Требуется вход

Для доступа к материалам курса необходимо войти через Telegram

Я ознакомлен(а) с Соглашением и Политикой, и даю согласие на обработку ПДн.

← Предыдущий урок

Kafka Table Engine

Следующий урок →

S3: Table Function, Engine и Named Collections

Вернуться к курсу

Прогресс модуля

0 из 11