Справочник internals-конфигов Spark

Этот справочник охватывает конфигурации, непосредственно влияющие на внутреннее устройство и производительность Spark 4.0. Каждый конфиг сопровождается дефолтным значением, механизмом действия и сигналом “когда менять”. Конфиги, изменение которых требует особой осторожности, помечены явно.

Задать конфиг можно тремя способами (убывающий приоритет):

• программно: spark.conf.set("key", "value")
• при запуске: spark-submit --conf key=value
• в spark-defaults.conf

1. Память executor’а

Правильная конфигурация памяти — фундамент стабильной работы в production. Неверный баланс между execution и storage memory — причина большинства OOM и spill-проблем.

Основные параметры

Unified Memory Manager

Когда менять:

• Поднимите spark.memory.fraction до 0.7-0.75 если видите частые spill при небольшом числе кэшированных RDD.
• Поднимите spark.executor.memory если heap usage >85% по метрикам Spark UI.
• Включайте offHeap для UnsafeRow-интенсивных join/sort workload’ов с heap >16 GB: GC паузы резко снижаются.

Ссылки на подробное описание

Детали UnifiedMemoryManager описаны в модуле 05 (Memory & Storage Internals).

2. Shuffle

Shuffle — самая дорогая операция. Эти конфиги определяют, сколько памяти тратится на буферы, когда происходит spill, и как данные передаются по сети.

Буферы и сжатие

Fetch и сеть

Push-based shuffle

SQL shuffle

Когда менять:

• Поднимите spark.shuffle.file.buffer до 64k-128k при большом числе map-задач на spinning disk.
• Поднимите spark.reducer.maxSizeInFlight до 96m-128m при большой пропускной способности сети (10Gbit+) и видимых задержках fetch.
• Снизьте spark.shuffle.sort.bypassMergeThreshold до 50-100 при workload с малым числом ключей, где сортировка избыточна.

3. Adaptive Query Execution (AQE)

AQE переоптимизирует план во время выполнения на основе реальной статистики shuffle. Включён по умолчанию с Spark 3.2.

Основные переключатели

Partition coalescing

Skew join

Когда менять:

• Увеличьте advisoryPartitionSizeInBytes до 128-256 MB при больших агрегациях с малым числом ключей.
• Снизьте skewedPartitionThresholdInBytes до 64-128 MB при агрессивном skew на малых датасетах.
• Отключите AQE (enabled=false) только при отладке производительности — иначе нет смысла.

4. Планировщик, локальность, спекуляция

Локальность задач

Спекулятивное выполнение

Провалы задач

Dynamic Allocation

Когда менять:

• Снизьте spark.locality.wait до 1s в Kubernetes (там нет rack topology и node locality работает хуже).
• Включайте spark.speculation только при workload’ах с гарантированной идемпотентностью задач и явным “хвостом” медленных задач.
• Для Dynamic Allocation задавайте minExecutors больше 0 (например, 2-4) если критична латентность первого запроса.

5. Сериализация

Сериализатор влияет на скорость shuffle, размер данных в сети и накладные расходы GC.

Когда менять:

• Поднимайте spark.kryoserializer.buffer.max при Buffer overflow ошибках Kryo (появляются в stacktrace).
• Устанавливайте kryo.registrationRequired=true в production, если хотите гарантировать отсутствие неожиданных slow-path’ей сериализации.

6. Tungsten и кодогенерация

Когда менять:

• Отключайте wholeStage только для диагностики: spark.conf.set("spark.sql.codegen.wholeStage", "false"). В production всегда должен быть включён.
• Включайте arrow.pyspark.enabled при любом PySpark workload’е — это почти всегда ускорение без побочных эффектов.

7. SQL join стратегии

8. Structured Streaming

Когда менять:

• Снизьте minBatchesToRetain до 10-20 если checkpoint директория растёт слишком быстро и recovery с нуля приемлем.
• Отключите noDataMicroBatches.enabled для источников с редкими данными чтобы снизить нагрузку на State Store при пустых batch’ах.

9. Быстрая таблица-шпаргалка по симптомам