Production deployment — обзор модуля

Production-grade Airflow требует тщательно спроектированной инфраструктуры: multi-scheduler HA, PgBouncer для connection pooling, RDS tuning, Helm chart на Kubernetes, monitoring. Этот модуль — reference architecture для production Airflow 2.x.

Уроки модуля

#	Урок	Что внутри
01	Обзор модуля	Текущий урок
02	HA reference architecture	2-3 scheduler, 2-3 triggerer, RDS PostgreSQL, PgBouncer
03	Helm chart deployment	Official chart, gitSync sidecar, secrets
04	PostgreSQL tuning	max_connections, shared_buffers, autovacuum, partitioning
05	Managed offerings comparison	MWAA / Cloud Composer / Astronomer / Azure
06	Upgrade procedure	Blue/green, DB migration, downtime windows
07	Disaster recovery	Backup metadata DB, Fernet key rotation, RTO/RPO tiers
08	Security hardening	NetworkPolicies, per-component DB users, OWASP Top 10, IRSA

HA Reference Architecture (Airflow 2.x)

   ┌────────────────────────────────────┐
   │       Load Balancer (HTTPS)        │
   └──────────────┬─────────────────────┘
                  │
        ┌─────────┴─────────┐
        ▼                   ▼
  ┌──────────┐         ┌──────────┐
  │ Webserver │         │ Webserver │  (Flask + gunicorn, N replicas)
  └────┬─────┘         └────┬─────┘
       │                    │
       └────────┬───────────┘
                ▼
       ┌──────────────────┐
       │  PgBouncer pool  │
       └──────────────────┘
                ▼
       ┌──────────────────┐
       │ RDS PostgreSQL   │
       │ Multi-AZ         │
       └──────────────────┘
                ▲
  ┌─────────────┼─────────────┐
  ▼             ▼             ▼
Scheduler1  Scheduler2  Triggerer×2
                                    
Standalone DAG Processors×1-2 (опционально в 2.x, mandatory в 3.x)
                                    
  Workers (Celery / K8s)

PostgreSQL tuning checklist

max_connections ≥ (N_schedulers × 16) + (N_workers × 2) + headroom
PgBouncer — mandatory, transaction mode
shared_buffers = 25% RAM, work_mem, maintenance_work_mem
autovacuum_vacuum_scale_factor = 0.05 для task_instance, log, xcom
pg_partman для partitioning log и xcom по дате
VACUUM FULL weekly

Managed offerings (2026)

Сервис	Pricing	Executor	Airflow версия	Lock-in
AWS MWAA	~$350/mo	Celery only	2.10 (3.x roadmap unclear)	AWS
GCP Cloud Composer 2	~$300-500	Celery+K8s	2.x	GCP
GCP Cloud Composer 3	similar	Celery+K8s	2.x / 3.x beta	GCP
Azure Managed Airflow	~$300+	Celery	2.x	Azure
Astronomer Astro	$0-5000+	Local/Celery/K8s	2.x и 3.x	Multi-cloud

Astronomer = top open-source contributor. Astro IDE с AI-powered development. Featured в 70% Airflow Summit demos.

Killer takeaway

В production Airflow 2.x первая инвестиция — PgBouncer + хорошо tuned RDS. Multi-scheduler scaling после 3-4 даёт diminishing returns — bottleneck DB. Изучите Postgres tuning раньше чем добавлять scheduler-ов.

Multi-Team в 3.x (упоминание)

В Airflow 3.2 (experimental) появился AIP-67 Multi-Team — изоляция per-team resources в одном Airflow instance. В 2.x для этого нужны отдельные Airflow deployments на каждую команду. Если у вас enterprise multi-team setup — это сильный аргумент для миграции на 3.x. Покрывается в финальном модуле.