Data Management + Optimization

В предыдущих уроках мы разобрали архитектуру хранения Paimon: LSM-деревья (Урок 01), merge engine’ы (Урок 02), changelog producer (Урок 03) и bucket/partition design (Урок 04). Теперь — как управлять данными в production: компакция, deletion vectors, z-order, data skipping и snapshot lifecycle.

Компакция: управление LSM-деревом

Компакция — фундаментальная операция LSM-дерева: объединение sorted runs для уменьшения read amplification. Paimon запускает компакцию автоматически, но параметры критически влияют на производительность.

Три ключевых параметра компакции

Стратегии компакции

Paimon поддерживает две стратегии компакции (подробнее в Уроке 01):

Deletion Vectors для Append-Only таблиц

Primary key таблицы обрабатывают удаления через merge engine (tombstone marker в LSM-дереве). Но append-only таблицы (без primary key) не имеют merge engine. Как удалять строки?

Компакция с deletion vectors: периодически Paimon объединяет data file + deletion vector в новый файл без удалённых строк. Это уменьшает overhead при чтении (не нужно проверять bitmap) и освобождает storage.

Z-Order Сортировка

По умолчанию данные в SST-файлах Paimon отсортированы по primary key (для primary key таблиц) или по порядку записи (для append-only). Z-order сортировка меняет порядок данных для улучшения data skipping при запросах по нескольким колонкам.

-- Z-Order rewrite для таблицы events
-- Paimon перезаписывает data files с z-order сортировкой
ALTER TABLE events SET ('zorder.columns' = 'region,category');
-- Или через dedicated action:
CALL sys.compact('default.events', 'zorder', 'region,category');

Data Skipping: Min/Max + Bloom Filter

Data skipping — механизм пропуска файлов и row group’ов при чтении. Paimon поддерживает два уровня:

Включение Bloom filter для конкретных колонок:

-- Включить bloom filter для колонки user_id
ALTER TABLE events SET (
 'fields.user_id.bloom-filter.enabled' = 'true',
 'fields.user_id.bloom-filter.fpp' = '0.01' -- false positive rate 1%
);

Tag Management: именованные snapshot’ы

Snapshot в Paimon — это состояние таблицы в определённый момент: набор manifest’ов → набор SST-файлов → данные. Snapshot’ы создаются автоматически при каждом commit. Tag — это именованный snapshot, защищённый от автоматического удаления.

Tag — это закладка на snapshot, которую expire не тронет:

-- Создать тег вручную
CALL sys.create_tag('default.orders', 'daily-2025-03-27', 720);

-- Автоматические теги: ежедневно
ALTER TABLE orders SET (
 'tag.automatic-creation' = 'process-time',
 'tag.creation-period' = 'daily',
 'tag.num-retained-max' = '30' -- хранить последние 30 дней
);

-- Удалить тег
CALL sys.delete_tag('default.orders', 'daily-2025-03-27');

Time Travel: чтение исторического состояния

Time travel в Paimon работает через snapshot ID или tag:

Сравнение с другими форматами:

Snapshot Lifecycle: полная картина

Подводим итоги

Data management в Paimon — это баланс между write performance (минимальная компакция), read performance (максимальный data skipping) и storage cost (snapshot lifecycle + GC):

1. Компакция — настраивайте trigger threshold под workload: стриминг (частая, мелкая) vs batch (редкая, крупная). Universal compaction для read-heavy, sorted-run для write-heavy.

2. Deletion vectors — для append-only таблиц: DELETE без перезаписи файлов. Roaring bitmap, O(1) check per row. Периодическая компакция merge’ит DV в data files.

3. Z-order — для аналитических запросов по нескольким колонкам. Дорогая одноразовая перезапись, но кардинальное улучшение data skipping.

4. Data skipping — многоуровневый: partition → bucket → min/max → bloom filter → row group. Bloom filter для high-cardinality equality, z-order для multi-column ranges.

5. Snapshot lifecycle — expire по count или time, tag для protection, auto-tag для расписания. GC для orphan files.

В следующем уроке мы рассмотрим экосистему Paimon: интеграции с Flink, Spark, OLAP-движками, Iceberg compatibility layer и сравнение с Hudi, Delta Lake и Iceberg.