Lance v2 Format

В предыдущем уроке мы разобрали архитектуру Lance на уровне dataset’ов: фрагменты, manifest’ы, version log. Теперь спустимся на уровень отдельного data file — формат Lance v2, опубликованный в апреле 2025 (arxiv 2504.15247).

Lance v2 — это радикально другой подход к колоночному хранению по сравнению с Parquet. Его ключевая идея: контейнерный формат без встроенной системы типов и фиксированного набора кодировок. Вместо этого — protobuf “any” messages, адаптивные structural encodings и extensible encoding pipeline.

Философия контейнерного формата

Lance v2 называет себя “columnar container format” — формат-контейнер, который хранит данные, но не навязывает, как они закодированы:

Это даёт три конкретных преимущества:

Encoding Pipeline

Lance v2 использует двухступенчатый encoding pipeline: сначала logical encoding (компрессия значений), затем structural encoding (физический layout на диске):

Adaptive Structural Encoding

Ключевое нововведение v2 — адаптивный выбор structural encoding на уровне chunk’ов:

Page Layout

Lance v2 data file организован как последовательность pages — но page в Lance v2 отличается от page в Parquet:

Protobuf-based Column Metadata

Каждая колонка описывается protobuf message, содержащим информацию о всех chunk’ах:

Protobuf “any” message для encoding descriptor:

message ColumnEncoding {
 // Logical encoding type
 google.protobuf.Any logical_encoding = 1;
 // Structural encoding type
 google.protobuf.Any structural_encoding = 2;
 // Page offset in data file
 uint64 page_offset = 3;
 // Compressed size in bytes
 uint64 compressed_size = 4;
 // Number of rows in chunk
 uint32 num_rows = 5;
 // Column statistics
 ColumnStats stats = 6;
}

message DictionaryEncoding {
 uint32 dictionary_size = 1;
 uint32 index_bits = 2;
 bytes dictionary_data = 3;
}

message MiniBlockEncoding {
 uint32 block_size = 1;
 uint32 value_width = 2;
 CompressionCodec compression = 3;
}

Mini-Block Encoding

Mini-block — основной structural encoding, обеспечивающий O(1) random access:

Именно это обеспечивает заявленный 100x выигрыш в random access: вместо загрузки + декодирования 64KB page ради одной строки — прямой доступ к байтам значения.

v1 → v2: эволюция формата

Lance v1 (2022-2024) использовал другой подход к колоночному хранению. v2 — переработка на основе опыта продакшена:

Сравнение Encoding-подходов

Как Lance v2 encoding pipeline соотносится с подходами Parquet и Apache Arrow:

Write Path: выбор кодировки

При записи данных Lance v2 writer проходит через pipeline выбора кодировки для каждого chunk каждой колонки:

Read Path: lazy decode

При чтении Lance v2 применяет lazy decoding — данные декодируются только когда запрошены:

Итоги

Lance v2 — формат, построенный на принципе “контейнер не навязывает содержимое”:

В следующем уроке мы разберём ML-специфичные возможности Lance: 100x random access через sliceable encodings, встроенный векторный поиск (IVF-PQ, HNSW), мультимодальные данные и Python API.