Методология бенчмаркинга форматов

“Parquet на 40% быстрее ORC” — бессмысленное утверждение без контекста. 40% быстрее на каком запросе? На каких данных? С какими настройками? На каком hardware? В Модуле 09 мы видели, как настройки компрессии меняют throughput в 3-5 раз. Формат бенчмарка без методологии — маркетинг, а не инженерия.

Этот урок — о том, как бенчмаркать, а не что быстрее. Результаты бенчмарков — в уроке 05 (Case Studies).

Пять измерений бенчмарка

Формат хранения — не одномерная шкала “быстро / медленно”. Каждый формат оптимизирован для своего набора операций. Бенчмарк без определения измерений — как тестировать автомобиль без указания, что именно тестируем: разгон, расход топлива или грузоподъёмность.

Типичные ошибки бенчмаркинга

Более 80% публичных бенчмарков форматов содержат хотя бы одну из этих ошибок. Распознавать их — навык, который важнее самих результатов.

Измерение 1: Write Throughput

Write throughput — не просто “сколько MB/s”. Это стоимость трансформации данных из источника в формат хранения: encoding, compression, metadata generation, file finalization.

Как бенчмаркать write

# Паттерн бенчмарка записи (PyArrow + Parquet)
import pyarrow as pa
import pyarrow.parquet as pq
import time

# Подготовить данные (Arrow table — один раз, вне замера)
table = pa.table({"col1": range(10_000_000), "col2": ["val"] * 10_000_000})

# Замер: только запись (не включаем генерацию данных)
start = time.perf_counter()
pq.write_table(
 table,
 "benchmark.parquet",
 compression="zstd", # Фиксировать compression
 compression_level=3, # Фиксировать level
 row_group_size=1_000_000, # Фиксировать row group size
 use_dictionary=True, # Фиксировать dictionary encoding
)
elapsed = time.perf_counter() - start
mb = table.nbytes / 1024 / 1024
print(f"{mb:.0f} MB written in {elapsed:.2f}s = {mb/elapsed:.0f} MB/s")

Измерение 2: Scan Speed

Scan speed — основное измерение для OLAP workload’а. Включает: чтение данных с диска/storage, decompression, decoding, column projection, predicate evaluation.

Набор запросов для scan бенчмарка

Один запрос — не бенчмарк. Минимальный набор для OLAP-workload:

Измерение 3: Predicate Pushdown

Predicate pushdown — ключевое преимущество колоночных форматов: способность не читать данные, которые не нужны. Метрика: pushdown ratio = 1 - (bytes_read / total_bytes).

Как бенчмаркать predicate pushdown

# Измерение: bytes read vs total bytes
import pyarrow.parquet as pq

# Чтение с предикатом
metadata = pq.read_metadata("benchmark.parquet")
total_bytes = metadata.serialized_size

# С фильтром
table = pq.read_table(
 "benchmark.parquet",
 filters=[("date", ">=", "2025-01-01")],
 columns=["amount", "category"]
)

# Метрика: сколько row groups было пропущено?
# PyArrow: read_metadata() → iterate row groups → check statistics
for i in range(metadata.num_row_groups):
 rg = metadata.row_group(i)
 col = rg.column(date_col_idx)
 print(f"RG {i}: min={col.statistics.min}, max={col.statistics.max}")

Измерение 4: Random Access

Random access — критичное измерение для ML-workload’а. Метрика: p50/p99 latency для чтения одной строки по row ID.

Бенчмарк random access

import lance
import pyarrow.parquet as pq
import random
import time

# Подготовить индексы для random access
n_rows = 10_000_000
sample_ids = random.sample(range(n_rows), 1000)

# Lance: take() по row IDs
ds = lance.dataset("benchmark.lance")
start = time.perf_counter()
for rid in sample_ids:
 ds.take([rid])
lance_elapsed = time.perf_counter() - start

# Parquet: read_row_group + filter (приблизительный аналог)
pf = pq.ParquetFile("benchmark.parquet")
start = time.perf_counter()
for rid in sample_ids:
 # Parquet не имеет нативного random access — это workaround
 rg_idx = rid // rows_per_rg
 pf.read_row_group(rg_idx).slice(rid % rows_per_rg, 1)
parquet_elapsed = time.perf_counter() - start

print(f"Lance: {lance_elapsed/len(sample_ids)*1000:.2f} ms/row")
print(f"Parquet: {parquet_elapsed/len(sample_ids)*1000:.2f} ms/row")

Измерение 5: Schema Evolution Cost

Воспроизводимый benchmark setup

Бенчмарк имеет ценность только если другая команда может получить те же результаты. Чеклист воспроизводимости:

Framework выбора: что бенчмаркать для вашего workload

Итоги

Бенчмарк формата без методологии — маркетинг. С методологией — инженерное решение:

1. Определите измерения из workload’а (2-3 из пяти)
2. Избегайте ошибок — тёплый кэш, дефолтные настройки, один запрос, один масштаб
3. Тюньте оба формата под workload перед сравнением
4. Документируйте всё — hardware, software, данные, настройки, протокол запуска
5. Публикуйте код — бенчмарк без кода — это мнение

В следующем уроке — выбор table format (Delta Lake vs Iceberg vs Hudi vs Paimon) на основе конкретных критериев.