Структура курса

Общий план

Курс состоит из 19 модулей, сгруппированных в 6 тематических блоков. Примерное время прохождения — 80 часов.

Блок 1: Фундамент (модули 01–01)

Модуль	Тема	Время
01 — Основы форматов хранения	Row vs columnar, кодировки, компрессия, метаданные	~4 ч

Этот блок создаёт концептуальную базу. Всё, что вы изучите дальше, опирается на эти фундаментальные понятия: как данные раскладываются на диске, как кодировки уменьшают объём, как метаданные позволяют пропускать ненужные данные.

Блок 2: Аналитические форматы (модули 02–04)

Модуль	Тема	Время
02 — Apache Parquet	Побайтовый разбор: row groups, column chunks, pages, footer	~6 ч
03 — Apache ORC	Stripes, index, bloom filters, ACID в Hive	~5 ч
04 — Apache Avro	Schema-first подход, schema resolution, container files	~4 ч

Блок 3: Сериализация и Legacy (модули 05–06)

Модуль	Тема	Время
05 — Protobuf, Thrift, MessagePack	Бинарная сериализация для RPC и event streaming	~4 ч
06 — CSV, JSON, XML	Почему они живы, и как работать с ними эффективно	~3 ч

Блок 4: In-Memory и глубокие техники (модули 07–10)

Модуль	Тема	Время
07 — Apache Arrow	Zero-copy, IPC, Flight, DataFusion integration	~6 ч
08 — Кодировки данных	Dictionary, RLE, delta, bit-packing — глубокий разбор	~5 ч
09 — Компрессия	Snappy, Zstd, LZ4, GZIP — алгоритмы и бенчмарки	~4 ч
10 — Schema Evolution	Forward/backward compatibility, schema registry	~4 ч

Блок 5: Table Formats (модули 11–16)

Модуль	Тема	Время
11 — Delta Lake	Transaction log, time travel, Z-order, liquid clustering	~6 ч
12 — Apache Iceberg	Metadata tree, hidden partitioning, incremental reads	~6 ч
13 — Apache Hudi	Copy-on-write vs merge-on-read, timeline, compaction	~5 ч
14 — Apache Paimon	Streaming lakehouse, changelog, append-only tables	~4 ч
15 — Lance и Vortex	ML-native формат, GPU-optimized columnar	~4 ч
16 — Nimble и F3	Meta’s next-gen формат, F3 (Future-Proof File Format, CMU SIGMOD 2025)	~3 ч

Блок 6: Практика (модули 17–18)

Модуль	Тема	Время
17 — Выбор формата на практике	Decision framework, бенчмарки, миграция	~4 ч
18 — Capstone-проект	Проектирование storage layer для реального use case	~6 ч