ACID-транзакции

ORC — immutable, ACID — Hive

Важнейшая архитектурная граница: ORC сам по себе — immutable формат. Файл ORC нельзя обновить на месте — он записывается один раз и только читается. Всё, что называется “ACID в ORC” — это Hive-уровневая абстракция, использующая ORC как storage substrate.

Hive ACID реализует INSERT, UPDATE, DELETE поверх immutable ORC-файлов через паттерн base + delta: исходные данные живут в base-файле, а изменения записываются в отдельные delta-директории. Чтение объединяет base и дельты через merge sort.

Структура директорий: base + delta

Hive ACID-таблица хранится на HDFS как набор директорий. Каждая транзакция создаёт новую delta-директорию:

Row ID: уникальный идентификатор строки

Каждая строка в ACID-таблице имеет уникальный Row ID — составной ключ из трёх компонентов:

Row ID хранится как скрытые колонки в ORC-файле. Когда Hive записывает дельту, каждая строка содержит три служебных поля перед пользовательскими данными:

// Структура записи в ACID delta-файле
struct AcidRow {
 operation: int // 0=INSERT, 1=UPDATE, 2=DELETE
 originalTransaction: bigint // writeId создавшей транзакции
 bucket: int // номер bucket
 rowId: bigint // номер строки в bucket
 currentTransaction: bigint // writeId текущей транзакции
 // ... пользовательские колонки ...
}

Merge Sort при чтении

Чтение ACID-таблицы — это merge sort base и всех дельт:

Алгоритм:

1. Открыть base-файл и все delta-файлы как отсортированные потоки по row ID
2. Merge sort всех потоков — строки приходят в порядке row ID
3. Для каждого row ID: проверить delete_delta — если row ID удалён, пропустить
4. Если несколько дельт содержат одинаковый row ID — взять версию с максимальным currentTransaction
5. Выдать результирующую строку

Compaction: объединение файлов

Со временем накапливаются десятки дельт — чтение замедляется. Compaction — фоновый процесс Hive Metastore, который объединяет файлы:

Transaction Visibility

Hive Metastore поддерживает Valid Transaction List — список завершённых (committed) транзакций. При чтении таблицы:

Ограничения Hive ACID

Hive ACID решает задачу UPDATE/DELETE на immutable storage, но имеет существенные ограничения:

Hive ACID vs Delta Lake / Iceberg

Hive ACID — первая реализация ACID на immutable columnar storage. Современные форматы (Delta Lake, Apache Iceberg) развивают эту идею:

Ключевые выводы

1. ORC — immutable формат. ACID — это Hive-уровневый runtime, использующий ORC как storage substrate
2. Base + Delta паттерн: base-файл — snapshot, delta — вставки, delete_delta — удаления. UPDATE = delete + insert
3. Row ID (originalTransaction, bucket, rowId) — глобально уникальный идентификатор строки, хранится как скрытые ORC-колонки
4. Merge sort при чтении: все потоки объединяются по row ID, delete_delta фильтрует удалённые строки
5. Compaction: minor (дельты → одна дельта) и major (base + дельты → новый base)
6. Transaction visibility: через Valid Transaction List из Hive Metastore, snapshot isolation