Оценка и выбор governance-инструментов
Введение
Знать ландшафт инструментов (уроки 1-3) и уметь их развёртывать (урок 4) — необходимо, но не достаточно. Выбор конкретного инструмента — организационное решение с долгосрочными последствиями: 12-24 месяца vendor lock-in, team training, integration investment. Этот урок даёт структурированный процесс оценки — от требований до решения.
Structured Evaluation Process
Оценка инструментов проходит 4 фазы:
Phase 1: Requirements gathering
Требования делятся на must-have (disqualifying) и nice-to-have (scoring):
| Тип | Примеры | Как используются |
|---|---|---|
| Must-have | Коннектор к PostgreSQL, self-hosted, open-source license | Elimination: нет must-have = дисквалификация |
| Nice-to-have | Column-level lineage, built-in classification, Slack integration | Scoring: 1-5 баллов по каждому критерию |
| Constraint | Budget < $50K, team < 10, RAM < 16 GB | Filter: constraint violation = дисквалификация |
Ошибка #1: Начинать с product demo, а не с requirements. Без requirements вы оцениваете “нравится ли UI”, а не “решает ли проблему”.
Phase 2: Shortlist
Longlist -> Shortlist алгоритм:
- Составьте longlist (6-10 candidates) из каждой категории
- Примените must-have фильтр: нет must-have = дисквалификация
- Примените constraint фильтр: нарушение constraint = дисквалификация
- Результат: shortlist из 3-5 candidates для PoC
Phase 3: Proof of Concept (PoC)
PoC — hands-on evaluation с реальными данными и реальной командой:
| Параметр PoC | Рекомендация |
|---|---|
| Длительность | 2-4 недели (не больше!) |
| Данные | Реальные (не synthetic) — production subset |
| Команда | 2-3 человека: engineer + steward + analyst |
| Scope | 3-5 use cases из requirements |
| Deliverable | Scoring card + recommendation memo |
Ошибка #2: PoC без exit criteria. Определите upfront: какие результаты считаем “pass” по каждому use case.
Phase 4: Decision
Scoring matrix формализует решение:
PostgreSQL connector (20%) | Airflow lineage (20%) | Quality integration (15%) | Deployment simplicity (15%) | Classification (15%) | Cost (15%) | Итого | |
|---|---|---|---|---|---|---|---|
| OpenMetadata | 5 | 4 | 5 | 5 | 4 | 5 | 4.7 |
| DataHub | 5 | 5 | 3 | 2 | 4 | 5 | 4.1 |
| Amundsen | 3 | 2 | 1 | 3 | 2 | 5 | 2.6 |
Total Cost of Ownership (TCO) анализ
TCO включает 5 компонентов за 3-летний горизонт:
| Компонент | Open-source | Commercial SaaS |
|---|---|---|
| Лицензия | $0 | $100K-500K/год |
| Инфраструктура | Cloud VM: $5K-20K/год | Включена (SaaS) |
| Операционная поддержка | 0.5-1 FTE: $50K-100K/год | 0.1 FTE: $10K-20K/год |
| Training | Self-study + community: $5K | Vendor training: $10K-30K |
| Migration (если потребуется) | Community tools: $20K-50K | Vendor lock-in: $50K-200K |
3-year TCO пример (DataTech):
- OpenMetadata: 15K infra + 5K training = $170K
- Collibra: 0 infra + 30K training = $690K
OpenMetadata 4x дешевле за 3 года. Но если команда вырастет до 100+ человек и потребуется SOC2 — Collibra может стать cheaper per-user.
Stakeholder alignment
Разные stakeholders оценивают инструменты по разным критериям:
| Stakeholder | Приоритет #1 | Приоритет #2 | Что игнорирует |
|---|---|---|---|
| CTO/VP Eng | TCO | Scalability | UI/UX |
| Data Engineer | API quality | Deployment simplicity | Business features |
| Data Steward | Collaboration UI | Classification | Infrastructure |
| DPO | Compliance (SOC2, GDPR) | Audit trail | Performance |
| CFO | License cost | Vendor stability | Technical features |
Процесс alignment:
- Каждый stakeholder заполняет scoring matrix со своими весами
- Facilitator (CDO или PM) собирает разногласия
- Workshop: обсуждение divergent scores (разница > 2 баллов)
- Консенсус: единая scoring matrix с agreed весами
Migration planning
При замене существующего инструмента — migration plan:
| Фаза | Действие | Длительность |
|---|---|---|
| Preparation | Inventory текущих metadata, integrations, workflows | 2-4 недели |
| Parallel run | Новый инструмент работает параллельно со старым | 4-8 недель |
| Migration | Перенос metadata, users, integrations | 2-4 недели |
| Cutover | Переключение пользователей, decommission старого | 1-2 недели |
| Stabilization | Мониторинг, bug fixes, training | 2-4 недели |
Total: 11-22 недели (3-5 месяцев). Правило: migration всегда занимает 2x от плана.
Common selection mistakes
- Demo-driven selection — выбор на основе красивой демо-презентации без PoC
- Feature-driven selection — выбор по количеству features, а не по relevance к вашим requirements
- Ignoring TCO — 0 cost (infrastructure + operations)
- Single-stakeholder decision — выбор только инженером или только руководителем
- No exit plan — отсутствие migration plan при выборе proprietary solution
- Premature optimization — выбор enterprise tool для команды из 5 человек
Сценарии
Сценарий: DataTech Solutions (ДатаТех Солюшенз)
DataTech проводит full evaluation для первого governance tool stack:
Requirements: PostgreSQL connector (must-have), Airflow lineage (must-have), < 8 GB RAM (constraint), $0 license (constraint), quality integration (nice-to-have)
Shortlist: OpenMetadata, DataHub, Amundsen (Collibra eliminated: $100K+ license)
PoC (2 weeks): 3 use cases: (1) ingest 200 tables, (2) auto-lineage from 10 DAGs, (3) quality checks on 5 datasets
Result: OpenMetadata — best fit: all must-haves, < 6 GB RAM, quality integration native, 2-day deployment.
Сценарий: FinSecure Bank (ФинСекьюр Банк)
FinSecure оценивает upgrade OpenMetadata 1.2 -> 1.5.x vs migration к DataHub:
Requirements: Column-level lineage (must-have для GDPR), SSO integration (must-have), < 6 месяцев migration (constraint)
Analysis:
- Upgrade OM 1.2 -> 1.5.x: column lineage (beta), SSO через Collate Cloud. Risk: beta lineage quality.
- Migrate to DataHub: column lineage (mature), SSO native. Risk: 14+ containers, 6+ month migration, Kafka dependency.
Decision: Upgrade OM to 1.5.x (lower risk). If column lineage beta не satisfies GDPR audit within 3 months — trigger DataHub migration. Exit plan documented.
Итоги
- Structured evaluation: Requirements -> Shortlist -> PoC -> Decision (4 фазы, 6-12 недель)
- TCO — 5 компонентов: лицензия, инфраструктура, ops, training, migration. 3-летний горизонт.
- Stakeholder alignment: разные роли оценивают по разным критериям; workshop для консенсуса
- Migration: 3-5 месяцев; всегда 2x от плана; parallel run обязателен
- 6 ошибок выбора: demo-driven, feature-driven, ignoring TCO, single-stakeholder, no exit plan, premature optimization
- Правило: upgrade before migrate. Migration — last resort.
Вы научились выбирать governance-инструменты. Но инструменты — это входные данные. BI и аналитика — это выходные данные: дашборды, отчёты, метрики, которые потребляют бизнес-пользователи. DataTech имеет 80+ Metabase дашбордов, из которых никто не знает, какие актуальны, а какие устарели. В следующем уроке мы изучим BI/Analytics Governance — governance потребительского слоя: жизненный цикл отчётов, сертификация дашбордов, governance семантического слоя и self-service аналитика.
Модуль M09 продолжается в уроке 06: BI/Analytics Governance — governance потребительского слоя данных.