Кодеки сжатия

Правильный выбор кодека сжатия по типу столбца может уменьшить объём хранения в 10 раз и ускорить запросы (меньше I/O). ClickHouse поддерживает конвейеры кодеков — несколько кодеков, применяемых последовательно. Кодек задаётся в DDL для каждого столбца.

Доступные кодеки

Конвейеры кодеков

CODEC(Delta, ZSTD(3)) — конвейер из двух кодеков. Применяются слева направо:

1. Delta — преобразует исходные значения в разности (кодек данных)
2. ZSTD(3) — сжимает поток разностей (кодек сжатия)

Почему это работает: Delta encoding для монотонных данных превращает последовательность вида [1000000, 1000001, 1000002, ...] в [1000000, 1, 1, 1, ...]. Затем ZSTD сжимает последовательность из почти одинаковых маленьких значений практически идеально.

-- Пример объявления кодеков в DDL таблицы
CREATE TABLE metrics (
    ts DateTime64(3)   CODEC(DoubleDelta, LZ4),
    user_id UInt32     CODEC(Delta, LZ4),
    session_id UInt64  CODEC(Delta, ZSTD(1)),
    temperature Float64 CODEC(Gorilla, LZ4),
    status_code UInt8  CODEC(T64, LZ4),
    url String         CODEC(ZSTD(3))
) ENGINE = MergeTree()
ORDER BY (ts, user_id);

Практические рекомендации по типам столбцов

Измерение степени сжатия

Прежде чем менять кодеки, измерьте реальную ситуацию:

-- Степень сжатия по столбцам
SELECT
    column,
    formatReadableSize(data_compressed_bytes) AS compressed,
    formatReadableSize(data_uncompressed_bytes) AS uncompressed,
    round(data_uncompressed_bytes / data_compressed_bytes, 2) AS ratio
FROM system.columns
WHERE table = 'your_table'
ORDER BY data_uncompressed_bytes DESC;

-- Детально по parts и столбцам
SELECT
    column,
    sum(column_data_compressed_bytes) AS compressed,
    sum(column_data_uncompressed_bytes) AS uncompressed,
    round(sum(column_data_uncompressed_bytes) / sum(column_data_compressed_bytes), 2) AS ratio
FROM system.parts_columns
WHERE table = 'your_table' AND active = 1
GROUP BY column
ORDER BY uncompressed DESC;

После смены кодека ALTER TABLE не перепишет существующие parts — изменения применяются только к новым parts. Для полной перезаписи используйте ALTER TABLE ... MATERIALIZE COLUMN или OPTIMIZE TABLE ... FINAL (в dev среде).

Ключевые выводы

1. LZ4 по умолчанию — хороший выбор для большинства столбцов. Меняйте только с измерениями.
2. Конвейер L-to-R: CODEC(Delta, ZSTD(3)) — сначала Delta (кодек данных), затем ZSTD (сжатие).
3. Delta + LZ4/ZSTD — для монотонных целых и timestamp с нерегулярным шагом.
4. DoubleDelta — для IoT и метрик с фиксированным интервалом выборки.
5. Gorilla — для float, меняющихся плавно (температура, цена, метрики).
6. ZSTD(N) высокого уровня (N=10+) — только для архивных, редко читаемых данных. Высокие уровни замедляют распаковку и увеличивают latency запросов.