Инструменты качества данных и observability

Great Expectations (GE)

Тип: Open-source (Apache 2.0) Язык: Python Deployment: pip install, Docker, Airflow operator

Концепция: Expectations — декларативные правила качества. Expectation Suite — набор правил для датасета. Checkpoint — оркестрация запуска.

Сильные стороны:

• 300+ встроенных expectations (completeness, accuracy, consistency, freshness)
• Data Docs — автоматическая HTML-отчётность
• Pluggable backend: Pandas, Spark, SQL
• Интеграция: Airflow, dbt, Prefect, Dagster
• Активное community: 9K+ GitHub stars

Ограничения:

• API изменения между 0.x и 1.x (breaking changes)
• Python-only: нет native SQL-first подхода
• Нет real-time monitoring (batch-only)
• Steep learning curve для advanced customization

Когда выбирать: Python-команда, batch pipelines, нужен comprehensive validation framework.

Soda

Тип: Open-source Core (Apache 2.0) + Soda Cloud (commercial) Язык: YAML (SodaCL — Soda Checks Language) Deployment: pip install, Docker, CI/CD integration

Концепция: Checks — YAML-first правила качества. SodaCL — декларативный DSL, понятный не-инженерам.

# SodaCL example
checks for orders:
  - row_count > 0
  - missing_count(order_id) = 0
  - duplicate_count(order_id) = 0
  - invalid_percent(status) < 5%:
      valid values: [pending, confirmed, shipped, delivered]
  - freshness(created_at) < 24h

Сильные стороны:

• YAML-first: Data Stewards и аналитики могут писать checks без Python
• SodaCL — самый читаемый DSL для data quality
• Freshness checks встроены (в отличие от GE batch-only)
• Soda Cloud: UI для non-engineers, alerting, incidents
• Лёгкий setup: pip install soda-core-postgres, одна команда

Ограничения:

• Меньше built-in checks, чем GE (150 vs 300+)
• Сложная кастомизация (custom checks в Python — менее гибко, чем GE)
• Soda Cloud — proprietary; open-source core ограничен
• Меньше community, чем GE

Когда выбирать: Мультифункциональная команда (engineers + analysts), YAML-first подход, нужен freshness monitoring.

dbt-expectations

Тип: Open-source (Apache 2.0), dbt package Язык: YAML + SQL (dbt schema.yml) Deployment: dbt deps (package install)

Концепция: Портирует GE expectations в dbt-native YAML формат. 60+ macros: expect_column_values_to_be_between, expect_table_row_count_to_be_between, и т.д.

Сильные стороны:

• Native dbt integration — zero additional infrastructure
• GE expectations API в dbt YAML — знакомый синтаксис
• Запускается как часть dbt test — no separate tooling
• Отлично для dbt-centric teams

Ограничения:

• Только warehouse data (dbt limitation)
• Нет Data Docs (dbt CLI output only)
• Нет profiling, нет anomaly detection
• Подмножество GE expectations (60 vs 300+)

Когда выбирать: Уже используете dbt, нужны GE-style expectations без отдельного Python tooling.

Monte Carlo

Тип: Commercial SaaS Pricing: $50K-200K+/год

Концепция: ML-powered data observability — автоматически обучается на исторических паттернах и обнаруживает аномалии без ручных правил.

5 столпов observability (Monte Carlo framework):

1. Freshness — данные обновляются по расписанию?
2. Volume — количество строк в пределах нормы?
3. Schema — структура таблицы не изменилась?
4. Distribution — распределение значений стабильно?
5. Lineage — impact analysis при обнаружении проблемы

Когда выбирать: Enterprise с 500+ таблицами, budget > $50K, нужен automated anomaly detection.

Datafold

Тип: Commercial SaaS + open-source data-diff Pricing: $30K-100K+/год (SaaS), data-diff бесплатный

Концепция: Data Diff — сравнение данных между environments (staging vs production). CI/CD integration для dbt.

Сильные стороны:

• data-diff: open-source инструмент для сравнения таблиц
• Column-level lineage (отдельная функция от observability)
• dbt CI integration: автоматический diff на Pull Request
• Визуальный lineage explorer

Когда выбирать: dbt-команда с CI/CD, нужен regression testing и column-level lineage.