Курс 29 · Data Engineering Бесплатно
Apache Spark Internals
Spark для senior: RDD, scheduler, shuffle, память, Catalyst/Tungsten, codegen, AQE, Structured Streaming internals, DataSource V2. Бесплатно, интерактивно.
Advanced
Уровень
77
Уроков
78
Часов
17
Модулей
Что входит: 77 уроков · 17 модулей · сертификат
Что нужно знать заранее
- Опыт production Spark-пайплайнов — DataFrame API, оптимизация, деплой
- Уверенный Python или Scala/JVM
- Понимание основ распределённых систем
Программа
Введение в курс
6 уроков · 3 ч
Философия Spark internals
4 урока · 2 ч
RDD и модель выполнения
10 уроков · 5 ч
Архитектура и scheduler internals
12 уроков · 6 ч
Shuffle internals
8 уроков · 4 ч
Память и storage internals
10 уроков · 5 ч
Catalyst и Tungsten
12 уроков · 6 ч
Сериализация и row format
8 уроков · 4 ч
Adaptive Query Execution
10 уроков · 5 ч
Internals Structured Streaming
12 уроков · 6 ч
Apache Arrow и Spark Connect
12 уроков · 6 ч
Расширение Spark
10 уроков · 5 ч
External Shuffle Service
6 уроков · 3 ч
Alternative Execution Engines
12 уроков · 6 ч
Исходники и отладка
8 уроков · 4 ч
Капстоун: дебаг internals
10 уроков · 5 ч
Приложение
4 урока · 2 ч