Lance Architecture

Parquet стал де-факто стандартом колоночного хранения, но его архитектура 2013 года имеет фундаментальные ограничения для современных workload’ов: произвольный доступ к строкам требует полного чтения page, нет встроенного векторного поиска, нет нативного версионирования данных. Lance — это Rust-based, Arrow-native формат, разработанный компанией LanceDB специально для ML/AI workload’ов, где эти ограничения критичны.

Проект развивается с 2022 года. Текущий формат — Lance v2 (апрель 2025, arxiv 2504.15247). В продакшене у LanceDB Cloud на петабайтных масштабах — multimodal GenAI компании, платформы для self-driving cars, e-commerce рекомендательные системы. Экосистема: PyArrow, Pandas, DuckDB, Polars, PyTorch.

Почему Parquet недостаточен для ML

Parquet оптимизирован для аналитических scan’ов: sequential read колонок с predicate pushdown. Но ML-pipeline’ы требуют другой паттерн доступа:

Три конкретные проблемы Parquet для ML:

1. Random access = full page decode. Parquet хранит данные в pages (~64KB). Чтобы прочитать строку #42, нужно найти row group, загрузить page, декодировать весь page (dictionary → RLE → значение). Для mini-batch из 1000 случайных строк — потенциально 1000 page read + decode. Lance решает это через sliceable encodings — прямой доступ к offset строки без декодирования page.

2. Нет векторного поиска. ML-pipeline’ы требуют nearest-neighbor search по embedding-векторам (CLIP, sentence-transformers). Parquet не хранит векторные индексы — нужен отдельный vector database (Pinecone, Weaviate). Lance встраивает IVF-PQ и HNSW-индексы прямо в data fragments.

3. Нет версионирования. Воспроизводимость ML-экспериментов требует возврата к конкретной версии датасета. Parquet — stateless файл. Lance добавляет append-only transaction log с version snapshots — аналог Delta Lake, но на уровне формата.

Фрагментная модель хранения

Lance организует данные в фрагменты — самодостаточные единицы хранения размером ~64 МБ. Каждый фрагмент содержит подмножество строк датасета:

Каждый фрагмент содержит:

Manifest и Version Log

Lance использует двухуровневую metadata-структуру: manifest описывает текущее состояние датасета, а version log хранит историю всех manifest’ов:

Manifest — это protobuf-сериализованный файл, содержащий:

Физическая структура на диске

Lance dataset — это директория с фиксированной структурой:

Deletion Vectors и компакция

Lance использует deletion vectors для soft-delete — аналог deletion vectors в Delta Lake 3.x и Apache Iceberg v2:

Компакция

Компакция в Lance — это фоновый процесс, который физически удаляет строки из deletion vectors и оптимизирует layout фрагментов:

Transaction Log и Time Travel

Append-only version log обеспечивает MVCC (Multi-Version Concurrency Control): каждая операция (append, delete, merge, create_index) создаёт новую версию, не изменяя предыдущие:

Python API для time travel:

import lance

# Открыть текущую версию
ds = lance.dataset("s3://bucket/embeddings.lance")
print(f"Current: version {ds.version}, {ds.count_rows()} rows")

# Открыть конкретную версию
ds_v1 = lance.dataset("s3://bucket/embeddings.lance", version=1)
print(f"V1: {ds_v1.count_rows()} rows")

# Список всех версий
for v in ds.list_versions():
 print(f" v{v['version']}: {v['timestamp']} — {v['metadata']}")

Сравнение с Lakehouse-форматами

Lance решает задачи, которые lakehouse-форматы решают иначе или не решают вовсе:

Write Path и Read Path

Конкурентный доступ

Lance поддерживает optimistic concurrency control — несколько writer’ов могут работать с dataset’ом одновременно:

Итоги

Lance — это не “ещё один Parquet”. Это формат, спроектированный для другого набора задач:

В следующем уроке мы разберём формат Lance v2 — “контейнерный формат” без встроенной системы типов и фиксированных кодировок, который позволяет адаптировать физический layout данных под конкретные workload’ы.