Что такое Data Governance
Введение
Каждая организация, работающая с данными, рано или поздно сталкивается с одними и теми же проблемами: дублирующиеся записи, противоречивые отчёты, неясные права доступа, отсутствие документации. Эти проблемы — не технические баги, а следствие отсутствия системного подхода к управлению данными. Именно этот системный подход и называется Data Governance.
Определение Data Governance
Data Governance (руководство данными) — это система принятия решений, определения прав и ответственности в отношении данных как актива организации. Data Governance устанавливает политики, стандарты, роли и процессы, обеспечивающие качество, безопасность, доступность и соответствие данных требованиям бизнеса и регуляторов.
Ключевое слово здесь — система принятия решений. Data Governance не про инструменты и не про технологии. Это про то, кто принимает решения о данных, какие правила действуют и как обеспечивается их соблюдение.
Компоненты программы Data Governance:
- Организационная структура — Data Council (совет по данным), Data Steward (распорядитель данных), Data Owner (владелец данных)
- Политики и стандарты — правила именования, классификации, хранения и удаления данных
- Процессы — согласование доступа, разрешение инцидентов, review качества
- Метрики — показатели качества данных, compliance rates, maturity scores
- Технологии — каталоги данных, инструменты мониторинга качества, policy-as-code
Data Governance vs Data Management
Термины Data Governance и Data Management (управление данными) часто путают. Разница принципиальна:
| Аспект | Data Governance | Data Management |
|---|---|---|
| Фокус | Правила и решения | Реализация и операции |
| Вопрос | ”Что и зачем?" | "Как и кем?” |
| Роли | CDO, Data Council, Data Steward | Data Engineer, DBA, Analyst |
| Артефакты | Политики, стандарты, RACI | Пайплайны, модели, запросы |
| Пример | ”Все данные клиентов — конфиденциальные" | "Шифровать столбец email алгоритмом AES-256” |
Data Governance устанавливает правила, а Data Management реализует их. Governance отвечает на вопрос “что и зачем”, Management — на “как и кем”.
Метафора: Data Governance — это правила дорожного движения (кто имеет право проезда, какие ограничения скорости). Data Management — это строительство дорог, светофоров и обслуживание автопарка.
На диаграмме выше показано, как governance-роли (CDO, Data Council, Data Steward, Data Owner) определяют правила, а management-роли (Data Engineer, Data Analyst) реализуют и используют данные по этим правилам.
Бизнес-ценность Data Governance
Зачем организации инвестировать в программу Data Governance? Бизнес-ценность проявляется в четырёх областях:
1. Качество решений
Когда данные управляются системно, бизнес получает единый источник правды. Руководители принимают решения на основе согласованных, проверенных данных, а не противоречивых отчётов из разных систем.
2. Регуляторное соответствие
Законодательство о данных ужесточается: 152-ФЗ в России, GDPR в ЕС, отраслевые требования (PCI DSS для банков, GCP для клинических данных). Программа Data Governance обеспечивает системное соответствие, а не реактивное “тушение пожаров” перед аудитами.
3. Снижение рисков
Утечки данных, неправомерный доступ, потеря данных — эти риски дорого обходятся. Data Governance снижает их через контроль доступа, классификацию данных и мониторинг.
4. Ускорение работы
Парадокс: правила ускоряют, а не замедляют. Когда Data Engineer знает, где находятся данные (каталог), кто за них отвечает (Data Owner) и какие стандарты применять (naming conventions), он тратит часы вместо недель на подготовку нового пайплайна.
Сценарий: DataTech Solutions
Сценарий: DataTech Solutions (ДатаТех Солюшенз)
DataTech — e-commerce компания с 500 сотрудниками, которая столкнулась с классическими симптомами отсутствия Data Governance:
- 15% записей клиентов дублируются в PostgreSQL, ClickHouse и Metabase
- 80+ дашбордов в Metabase — никто не знает, какие из них используют корректные источники данных
- Внешний аудит 152-ФЗ выявил хранение персональных данных без надлежащих согласий
- Новый Data Engineer потратил 3 недели на понимание связей между таблицами — документации не существует
В DataTech нет ни одной governance-роли: ни CDO, ни Data Steward, ни DPO. Все 7 человек в команде данных подчиняются VP Engineering и занимаются исключительно техническими задачами.
Эта ситуация типична для организаций на Level 1 (Initial) зрелости Data Governance — управление данными полностью реактивное. На протяжении этого модуля мы будем проектировать для DataTech программу governance, решая каждую из этих проблем.
Итоги
- Data Governance — это система принятия решений о данных: кто, что, зачем и по каким правилам
- Data Management реализует эти решения: как и кем, с помощью каких инструментов
- Бизнес-ценность governance: качество решений, compliance, снижение рисков, ускорение работы
- DataTech Solutions — пример организации Level 1 без governance, с типичными симптомами: дубликаты, неуправляемые дашборды, compliance-нарушения
В следующем уроке мы рассмотрим DAMA-DMBOK2 — международный стандарт, определяющий 11 областей Data Management, и фреймворки для построения программы governance.