Система метрик и Prometheus

Spark UI и History Server показывают метрики по запросу — вы открываете страницу и видите текущее состояние. Но для production вам нужен continuous monitoring: сбор метрик каждые 15 секунд, хранение истории, алерты при аномалиях. Для этого Spark интегрируется с Prometheus — стандартом мониторинга в мире distributed systems.

Архитектура метрик Spark

Система метрик Spark построена на модели Sources + Sinks:

Sources — компоненты Spark, которые генерируют метрики. Каждый Source обновляет счётчики (counters), gauges и timers в реальном времени.

Sinks — способы экспорта метрик. Для Prometheus используется встроенный PrometheusServlet — HTTP endpoint, который Prometheus периодически scrape’ит.

PrometheusServlet: встроенный экспортёр

Начиная со Spark 3.0, в Spark встроен PrometheusServlet — HTTP sink, который экспонирует метрики в формате Prometheus на endpoint /metrics/prometheus. Не нужны внешние JAR-файлы или Pushgateway.

Конфигурация: metrics.properties

Создайте файл metrics.properties в директории $SPARK_HOME/conf/:

# Включить PrometheusServlet для всех компонентов
*.sink.prometheusServlet.class=org.apache.spark.metrics.sink.PrometheusServlet
*.sink.prometheusServlet.path=/metrics/prometheus

# Включить JVM метрики для всех компонентов
master.source.jvm.class=org.apache.spark.metrics.source.JvmSource
worker.source.jvm.class=org.apache.spark.metrics.source.JvmSource
driver.source.jvm.class=org.apache.spark.metrics.source.JvmSource
executor.source.jvm.class=org.apache.spark.metrics.source.JvmSource

После настройки метрики доступны по HTTP:

# Master metrics
curl http://spark-master:8080/metrics/prometheus/

# Worker metrics
curl http://spark-worker:8081/metrics/prometheus/

# Driver metrics (только при активном приложении)
curl http://spark-driver:4040/metrics/prometheus/

Ключевые метрики Spark

JVM Metrics

Executor Metrics

DAG Scheduler Metrics

Prometheus Scrape Configuration

Prometheus нужно настроить для scraping всех компонентов Spark-кластера:

# prometheus.yml
global:
  scrape_interval: 15s
  evaluation_interval: 15s

scrape_configs:
  - job_name: 'spark-master'
    metrics_path: '/metrics/prometheus/'
    static_configs:
      - targets: ['spark-master:8080']
        labels:
          component: 'master'

  - job_name: 'spark-workers'
    metrics_path: '/metrics/prometheus/'
    static_configs:
      - targets: ['spark-worker-1:8081', 'spark-worker-2:8081']
        labels:
          component: 'worker'

  - job_name: 'spark-driver'
    metrics_path: '/metrics/prometheus/'
    scrape_timeout: 10s
    static_configs:
      - targets: ['spark-driver:4040']
        labels:
          component: 'driver'

Важные нюансы:

1. Driver endpoint (port 4040) доступен только при активном приложении. Когда job завершается, endpoint исчезает. Установите scrape_timeout: 10s чтобы Prometheus не ждал слишком долго
2. Workers слушают на порту 8081 по умолчанию. Если у вас несколько workers на одной машине, порты будут 8081, 8082, 8083…
3. Labels (component: master/worker/driver) помогают фильтровать метрики в Grafana

Попробуйте сами: Docker Lab

Мы подготовили Docker lab с готовым Spark + Prometheus + Grafana стеком. В нём вы сможете:

1. Запустить Spark-кластер с настроенным PrometheusServlet
2. Отправить workload и наблюдать метрики в реальном времени
3. Исследовать Prometheus targets и PromQL запросы
4. Увидеть, как метрики отражают проблемы (spill, skew, GC pressure)

Подробности в файле labs/monitoring/README.md и в уроке по Grafana dashboards.

Multi-node Production Setup

В production с десятками workers ручное перечисление targets непрактично. Используйте service discovery:

# prometheus.yml для Kubernetes
scrape_configs:
  - job_name: 'spark-executors'
    kubernetes_sd_configs:
      - role: pod
    relabel_configs:
      - source_labels: [__meta_kubernetes_pod_label_spark_role]
        action: keep
        regex: executor

Для Standalone кластера — используйте file-based service discovery:

scrape_configs:
  - job_name: 'spark-workers'
    file_sd_configs:
      - files:
          - '/etc/prometheus/spark-targets.json'
        refresh_interval: 30s

Что дальше?

Prometheus собирает и хранит метрики, но для визуализации и алертинга нужен Grafana. В следующем уроке мы построим Grafana dashboard с панелями для каждой ключевой метрики Spark.