Pools и Concurrency — обзор модуля

Concurrency в Airflow — это пять уровней ограничений, которые работают одновременно. Понимание их взаимодействия критично для предотвращения over-allocation внешних ресурсов (например, не положить Snowflake warehouse).

Уроки модуля

Пять уровней concurrency

Любой из этих ограничивает execution. Самый ограничивающий выигрывает.

Priority Weight

@task(priority_weight=10)
def important_task(): ...

@task(priority_weight=1)
def normal_task(): ...

weight_rule:

• downstream (default) — priority = own + sum of downstream
• upstream — priority = own + sum of upstream
• absolute — only own value

Pool как critical section gate

Pool — это не просто счётчик. Это row в таблице slot_pool, на которую scheduler берёт row-level lock в critical section. Это значит:

1. Все pool decisions atomically serialized
2. Multi-scheduler конкурирует за pool через NOWAIT
3. Нельзя over-allocate — даже под high concurrency

Killer pattern: Snowflake warehouse protection

@task(pool="snowflake_xs", pool_slots=2)
def heavy_query():
    pass

В UI создаём pool snowflake_xs с 10 slots = 5 одновременных queries. Это предотвращает положить warehouse даже при 100 готовых tasks.

Killer takeaway

Если в production tasks стоят в queued state и не запускаются — первым делом смотреть pool occupancy:

SELECT pool, slots, used_slots, queued_slots, scheduled_slots
FROM slot_pool;

Если used_slots = slots — pool exhausted. Не tuning executor concurrency, не больше workers — это pool.