SharedMergeTree и ClickHouse Cloud

SharedMergeTree — это cloud-native замена ReplicatedMergeTree в ClickHouse Cloud. Вместо того, чтобы каждая реплика хранила полную копию данных, все реплики обращаются к единому общему объектному хранилищу (S3, GCS, Azure Blob). Данные физически не копируются между репликами — копируются только метаданные.

Этот урок носит концептуальный характер: SharedMergeTree — эксклюзивная функция ClickHouse Cloud, недоступная в self-hosted развёртываниях.

Архитектура SharedMergeTree

В традиционном self-hosted ClickHouse с ReplicatedMergeTree каждая реплика хранит полную копию всех частей:

Replica 1: [part_1] [part_2] [part_3] ... (полная копия)
Replica 2: [part_1] [part_2] [part_3] ... (полная копия)
Replica 3: [part_1] [part_2] [part_3] ... (полная копия)

В ClickHouse Cloud с SharedMergeTree все реплики работают с одним хранилищем:

S3/GCS: [part_1] [part_2] [part_3] ... (единственная копия)
           |          |          |
    Replica 1   Replica 2   Replica 3  (только метаданные + кеш)

Реплики хранят только метаданные о частях и локальный кеш. Чтение происходит непосредственно из S3. Запись создаёт новую часть в S3, после чего метаданные синхронизируются через координационный слой (ClickHouse Keeper в Cloud).

В ClickHouse Cloud:

• ENGINE = MergeTree автоматически становится ENGINE = SharedMergeTree
• Явно указывать SharedMergeTree не нужно — это происходит прозрачно
• Все варианты (ReplacingMergeTree, SummingMergeTree, AggregatingMergeTree) имеют аналоги: SharedReplacingMergeTree, SharedSummingMergeTree, SharedAggregatingMergeTree

Сравнение ReplicatedMergeTree и SharedMergeTree

Ключевые выводы

1. SharedMergeTree — cloud-native замена ReplicatedMergeTree: единое S3-хранилище вместо копий на каждой реплике.
2. Автоматический quorum: все INSERT автоматически quorum — настройка insert_quorum не нужна в Cloud.
3. Мгновенное масштабирование: новый вычислительный узел подключается без копирования данных — только прогрев кеша.
4. Cloud only: SharedMergeTree не доступен в self-hosted ClickHouse — это эксклюзивная функция Cloud.
5. Прозрачная замена: в Cloud ENGINE = MergeTree автоматически означает ENGINE = SharedMergeTree — код, написанный для self-hosted, работает в Cloud без изменений.