Adaptive Query Execution: обзор и конфигурация

Проблема: Catalyst не знает будущего

В модуле 02 мы разобрали, как Catalyst Optimizer строит план выполнения: парсинг, анализ, оптимизация, физический план. Но у Catalyst есть фундаментальное ограничение — он оптимизирует запрос до выполнения, опираясь на статистики, которые могут быть устаревшими или отсутствовать вовсе.

Представьте ситуацию: Catalyst выбрал SortMergeJoin для двух таблиц, основываясь на их размерах из метаданных каталога. Но после применения фильтра WHERE status = 'active' одна из таблиц уменьшилась с 10 ГБ до 8 МБ. BroadcastHashJoin был бы в 10 раз быстрее — но Catalyst уже принял решение, и менять его на лету не умеет.

Catalyst (compile-time):
  Metadata: table_a = 10GB, table_b = 500MB
  Decision: SortMergeJoin (обе таблицы большие)

Runtime reality:
  After filter: table_a = 8MB (99.9% отфильтровано)
  Optimal: BroadcastHashJoin (table_a помещается в память)

Adaptive Query Execution (AQE) решает именно эту проблему. AQE работает поверх Catalyst — после физического плана, на основе runtime статистик. Это не замена Catalyst, а его дополнение: Catalyst выполняет compile-time оптимизацию, AQE корректирует план во время выполнения.

Три столпа AQE

AQE выполняет три типа runtime-оптимизаций:

Дополнительно AQE взаимодействует с Dynamic Partition Pruning (DPP), который мы разберем в уроке 04.

Как работает AQE: цикл re-optimization

AQE разбивает физический план на query stages — фрагменты плана, разделённые shuffle-границами. После выполнения каждого stage AQE:

1. Собирает runtime статистики — реальные размеры партиций, количество строк, объёмы данных
2. Анализирует собранные данные — обнаруживает skew, пустые партиции, маленькие таблицы
3. Адаптирует план — меняет стратегию join, объединяет партиции, разбивает skewed партиции
4. Выполняет следующий stage — уже с оптимизированным планом

Query Stage 1: Scan + Filter → Execute → Collect Stats
                                            ↓
                                    AQE: "After filter, table_a = 8MB"
                                            ↓
                                    Re-plan: SortMerge → Broadcast
                                            ↓
Query Stage 2: Join (BroadcastHashJoin) → Execute → Collect Stats
                                            ↓
                                    AQE: "150 of 200 partitions are empty"
                                            ↓
                                    Re-plan: Coalesce 200 → 12
                                            ↓
Query Stage 3: Aggregation (12 partitions) → Result

Конфигурационные параметры AQE

Все параметры AQE начинаются с spark.sql.adaptive.:

# Проверка текущих настроек AQE
spark.conf.get("spark.sql.adaptive.enabled")                            # true
spark.conf.get("spark.sql.adaptive.advisoryPartitionSizeInBytes")       # 64MB
spark.conf.get("spark.sql.adaptive.skewJoin.skewedPartitionFactor")     # 5.0
spark.conf.get("spark.sql.adaptive.skewJoin.skewedPartitionThresholdInBytes")  # 256MB

# Кастомизация для вашего кластера
spark.conf.set("spark.sql.adaptive.advisoryPartitionSizeInBytes", "128MB")  # Для больших данных
spark.conf.set("spark.sql.adaptive.coalescePartitions.minPartitionSize", "4MB")

AQE vs Catalyst: кто за что отвечает

SQL / DataFrame API
       ↓
  [Catalyst -- compile-time]
  1. Parser → Unresolved Plan
  2. Analyzer → Resolved Plan
  3. Optimizer → Optimized Plan (RBO + CBO)
  4. Planner → Physical Plan
       ↓
  [AQE -- runtime]
  5. Execute Stage → Collect Stats
  6. Re-optimize → Adapt Plan
  7. Execute Next Stage → ...
       ↓
    Final Result

Catalyst выполняет структурные оптимизации: pushdown предикатов, column pruning, constant folding. AQE выполняет адаптивные оптимизации: те, которые зависят от реальных объёмов данных, невидимых до начала выполнения.

Что дальше?

В следующих уроках мы детально разберём каждый столп AQE: автоматическое объединение shuffle-партиций (урок 02), оптимизацию skew join (урок 03), Dynamic Partition Pruning (урок 04) и runtime-адаптацию плана (урок 05). Каждый урок покажет конкретные before/after метрики с AQE.