Apache DataFusion
Extensible query engine на базе Apache Arrow: архитектура, SQL и DataFrame API, оптимизация запросов, расширения на Rust и Python
БесплатноО курсе
72
уроков
14
модулей
~40
часов
Продвинутый
уровень
Модули курса
- Колоночный формат: почему аналитика требует другой памяти 12 мин Начальный
- Arrow Memory Layout: буферы, bitmap и RecordBatch 15 мин Средний
- Система типов Arrow: от Int32 до вложенных структур 14 мин Средний
- Arrow IPC и Flight: передача данных без сериализации 13 мин Средний
- Экосистема Arrow: реализации, ADBC и cross-language мир 12 мин Средний
- Arrow в DataFusion: RecordBatch, ArrayRef и compute kernels 14 мин Средний
- Query Pipeline: от SQL-текста до RecordBatch 15 мин Средний
- LogicalPlan: дерево логических операций 16 мин Средний
- PhysicalPlan: от логики к алгоритмам выполнения 17 мин Средний
- Каталог и источники данных 14 мин Средний
- SessionContext: точка входа в DataFusion 14 мин Средний
- Crate-архитектура DataFusion: модульная структура 13 мин Средний
- Управление памятью в DataFusion: MemoryPool, spill и мониторинг 14 мин Продвинутый
- SQL-движок DataFusion 15 мин Средний
- SELECT и аналитические запросы 15 мин Средний
- Window функции 15 мин Средний
- DataFrame API (Rust) 15 мин Средний
- EXPLAIN и отладка запросов 15 мин Средний
- SQL vs DataFrame: когда что использовать 15 мин Средний
- Бенчмаркинг и профилирование DataFusion 15 мин Продвинутый
- Скалярные UDF на Rust 18 мин Продвинутый
- Агрегатные и оконные UDF 20 мин Продвинутый
- TableProvider: собственный источник данных 22 мин Продвинутый
- Каталожная система 18 мин Продвинутый
- Продвинутые точки расширения 20 мин Продвинутый
- Паттерны расширяемости 16 мин Продвинутый
- Обработка ошибок в DataFusion 14 мин Продвинутый
- Тестирование расширений DataFusion 13 мин Продвинутый
- Lakehouse-архитектура: от хранилищ к открытым форматам таблиц 14 мин Продвинутый
- Delta Lake и DataFusion: time travel, ACID и file-level metadata skipping 16 мин Продвинутый
- Apache Iceberg и DataFusion: каталоги, hidden partitioning, schema evolution 16 мин Продвинутый
- Object Store и мультиформатные конфигурации 14 мин Продвинутый