Row Groups

Learning Platform

Modern storage formats / Модуль 03

Глоссарий Troubleshooting

Я ознакомлен(а) с Пользовательским соглашением и Политикой конфиденциальности, и даю согласие на обработку моих персональных данных.

Курс

Modern storage formats

01 · Введение в курс ✓

01.01 О курсе Storage Formats Deep-Dive 01.02 Структура курса 01.03 Пререквизиты

02 · Основы форматов хранения ✓

02.01 Почему формат хранения важен 02.02 Row vs Columnar 02.03 Основы кодирования данных 02.04 Основы компрессии 02.05 Метаданные и схема

03 · Apache Parquet Deep-Dive ✓

03.01 Row Groups 03.02 Column Chunks 03.03 Pages 03.04 Encodings в Parquet 03.05 Metadata и Statistics 03.06 Вложенные данные и Dremel 03.07 Интерактивный Parquet File Viewer

04 · Apache ORC Deep-Dive ✓

04.01 Stripes и физическая структура 04.02 Кодировки колонок 04.03 Индексная система 04.04 Система типов 04.05 ACID-транзакции 04.06 Шифрование, Schema Evolution, сравнение с Parquet 04.07 Интерактивный ORC File Viewer

05 · Apache Avro Deep-Dive ✓

05.01 Контейнерный формат 05.02 Система типов и схема 05.03 Бинарное кодирование 05.04 Schema Resolution и эволюция 05.05 Kafka-интеграция и wire formats 05.06 Avro vs альтернативы

06 · Protobuf, Thrift, MessagePack ✓

06.01 Protobuf: Wire Format 06.02 Protobuf: Schema Evolution 06.03 Apache Thrift: Protocols 06.04 MessagePack Format 06.05 Сравнение форматов сериализации

07 · CSV, JSON, XML ✓

07.01 CSV: Внутреннее устройство 07.02 JSON: Формат и кодирование 07.03 XML: Формат и парсинг 07.04 Ограничения текстовых форматов для аналитики 07.05 Когда использовать текстовые форматы

08 · Apache Arrow Deep-Dive ✓

08.01 Memory Layout 08.02 Type System 08.03 IPC Format 08.04 Feather Format 08.05 Flight Protocol 08.06 Ecosystem 08.07 Интерактивный Arrow Memory Layout Viewer

09 · Кодировки данных ✓

09.01 Теория информации и кодирование 09.02 Dictionary Encoding: кросс-форматный анализ 09.03 Целочисленные кодировки: FOR, Delta, Bit-Packing 09.04 Строковые кодировки: за пределами словаря 09.05 Boolean, NULL и вложенные кодировки 09.06 Алгоритмы выбора кодировки

10 · Компрессия и новые подходы ✓

10.01 Внутренности алгоритмов компрессии: LZ77, Huffman, ANS 10.02 Компрессия на практике: тюнинг и измерение 10.03 BtrBlocks: каскадное кодирование 10.04 FastLanes: SIMD-оптимизированная компрессия 10.05 ALP: адаптивное сжатие float 10.06 FSST: сжатие строк таблицей символов 10.07 Будущее кодирования: compressed execution и AnyBlox

11 · Schema Evolution и Registry ✓

11.01 Основы эволюции схем 11.02 Уровни совместимости 11.03 Архитектура Confluent Schema Registry 11.04 Governance и CI/CD интеграция 11.05 Альтернативные реестры схем 11.06 Эволюция схем в Table Formats

12 · Delta Lake Deep-Dive ✓

12.01 Архитектура Transaction Log 12.02 ACID-транзакции и разрешение конфликтов 12.03 Time Travel, Checkpoints и VACUUM 12.04 Оптимизация размещения данных 12.05 Change Data Feed и Streaming 12.06 Delta Kernel, UniForm и экосистема

13 · Apache Iceberg Deep-Dive ✓

13.01 Каталог и иерархия метаданных 13.02 Снимки, коммиты и time travel 13.03 Hidden partitioning и partition evolution 13.04 Schema evolution и column IDs 13.05 Row-level операции: CoW, MoR, deletion vectors 13.06 Обслуживание, экосистема и версии спецификации

14 · Apache Hudi Deep-Dive ✓

14.01 Timeline Architecture и Storage Layout 14.02 COW vs MOR Deep-Dive 14.03 Индексная подсистема 14.04 Concurrency Control и ACID 14.05 Запросы и инкрементальная обработка 14.06 Table Services и экосистема

15 · Apache Paimon Deep-Dive ✓

15.01 LSM-Tree Architecture 15.02 Table Types и Merge Engines 15.03 Changelog Producer 15.04 Bucket + Partition Design 15.05 Data Management + Optimization 15.06 Ecosystem + Interoperability

16 · Lance и Vortex ✓

16.01 Lance Architecture 16.02 Lance v2 Format 16.03 Lance ML Features 16.04 Vortex Architecture 16.05 Vortex Compressed Compute

17 · Nimble и F3 ✓

17.01 Nimble Architecture 17.02 Nimble — философия дизайна 17.03 F3 Architecture 17.04 F3 — Wasm-декодеры 17.05 Сравнение форматов нового поколения

18 · Выбор формата на практике ✓

18.01 Фреймворк выбора формата по workload 18.02 Методология бенчмаркинга форматов 18.03 Выбор Table Format: Delta Lake vs Iceberg vs Hudi vs Paimon 18.04 Стратегии миграции форматов 18.05 Case Studies: формат в контексте

19 · Capstone-проект ✓

19.01 Capstone-проект: обзор и требования 19.02 Проектирование Ingestion Pipeline 19.03 Проектирование Storage Layer 19.04 Бенчмаркинг и финальный отчёт

Урок 03.01 · 25 мин

Средний

ParquetRow GroupsFile StructureParallel I/OPAR1

Доступ закрыт

Требуется вход

Для доступа к материалам курса необходимо войти через Telegram

Я ознакомлен(а) с Соглашением и Политикой, и даю согласие на обработку ПДн.

← Предыдущий урок

Метаданные и схема

Следующий урок →

Вернуться к курсу

Прогресс модуля

0 из 7