Введение
CDE — это не one-time decision. Это артефакт жизненного цикла, который проходит через структурированные стадии: предложен, проверен, утверждён, поддерживается несколько лет, перепроверяется ежегодно, и в конечном итоге retired (когда бизнес-модель меняется или система выводится из эксплуатации). На каждой стадии — разные роли, разные входы / выходы, разные gate criteria.
Этот урок строит workflow lifecycle, который SwiftRide может развернуть на неделе 4 программы — и работать на нём 18 месяцев до IPO. Плюс sequence diagram, иллюстрирующий, как один CDE проходит полный lifecycle.
5 стадий lifecycle
| # | Стадия | Что происходит | Владелец | Output |
|---|---|---|---|---|
| 1 | Nomination | Кандидат идентифицирован, предложен для CDE-статуса | Кто угодно (data engineer / steward / owner / audit) | Nomination form (scoring pre-fill) |
| 2 | Review | Применён фреймворк scoring (M1.3-1.4), оценены 4 dimensions | Data Steward + кандидат в Data Owner | Scored sheet с rationale, предлагаемый verdict |
| 3 | Approval | Формальный sign-off Data Council | Data Council (председатель CDO) | Запись в реестре, baseline controls, ритм attestation |
| 4 | Maintenance | Quarterly attestation, DQ-мониторинг, управление изменениями, реагирование на инциденты | Data Owner (primary), Data Steward (operational) | Quarterly attestation packets, DQ trend reports |
| 5 | Retirement | CDE retired — decommission системы, изменение модели, или переклассификация | Data Owner + Data Council | Запись retirement, архивированный evidence |
Эти 5 стадий стабильны; production-версия может добавлять промежуточные sub-stages (например, «pilot controls» между approval и maintenance). Это нормально — основные 5 стадий — общий backbone.
Стадия 1: Nomination
Триггер: кто угодно идентифицирует датасет, который заслуживает рассмотрения как CDE. Источники:
- Audit finding (Big 4, internal audit) — самый частый.
- Регуляторный дедлайн (новая регуляция требует идентификации данных).
- Инцидент (DQ issue, затрагивающий financial / regulatory output).
- Новая бизнес-модель (новый бизнес-юнит, запуск нового продукта).
- Ежегодный portfolio sweep — все датасеты с определёнными характеристиками номинируются массово.
Форма nomination (минимально требуемые поля):
nominator(кто предложил)dataset_identifier(техническая ссылка — table, fields)nomination_trigger(audit / incident / regulatory / и т.д.)proposed_business_rationale(1-2 предложения почему)proposed_owner(best guess; уточняется в review)
Gate criteria для перехода в Review:
- Датасет технически идентифицируем (table + columns)
- Бизнес-обоснование не тривиально («всё важное»)
- Предлагаемый владелец — реальный человек или роль, не «TBD»
Если gate не пройден — nomination возвращается с feedback, не auto-rejected. Цель — поощрять номинации, даже imperfect.
Пример SwiftRide: Internal auditor номинирует swiftcapital.dl.loan_portfolio_ecl_stage после запроса Big 4. Форма заполнена, trigger=audit, proposed owner=Head of SwiftCapital Risk. Gate пройден → переход в Review.
Стадия 2: Review
Владелец: Data Steward + предлагаемый Data Owner совместно проводят review.
Процедура:
- Верифицировать периметр — подтвердить границы датасета (table + columns, не surrounding).
- Применить фреймворк scoring (M1.3-1.4) — score 4 dimensions с rationale на ячейку.
- Проверить классификации (M1.5) — PII? Master Data? Reference Data? Confidential tier?
- Проверить существующие controls — что уже на месте; что в gap.
- Оценить effort — стоимость реализации controls, ongoing maintenance.
- Подготовить review packet — scoring + классификации + gap analysis + оценка effort.
Gate criteria для перехода в Approval:
- Все 4 dimensions оценены с rationale
- Verdict ясен (CDE / borderline / not-CDE) по threshold scoring
- Кандидат во владельцы подтвердил готовность (устное согласие)
- Оценка effort ориентировочная (например, в кварталах: «1 sprint для baseline controls»)
Если verdict = «not-CDE» — packet всё равно архивируется (для audit trail), но не proceed. Если «borderline» — эскалация по M1.4 (past incident? imminent deadline? input owner + compliance?).
Бюджет времени: 2-4 часа на кандидата в первом цикле; 1-2 часа, когда команда experienced. Если scoring занимает 1 день на кандидата — фреймворк слишком расплывчат.
Стадия 3: Approval
Владелец: Data Council (председатель CDO).
Ритм: Обычно bi-weekly batch review. Размер пакета 5-10 кандидатов на встречу.
Процедура:
- Pre-read — review packets распространяются за 48ч до встречи.
- Обсуждение — по кандидату: оспаривание rationale scoring, обсуждение effort controls, подтверждение владения.
- Решение — голосование / консенсус по кандидату: approve / reject / defer для дополнительной info.
- Запись в реестре создаётся для approved CDE с метаданными:
- Дата approval, участники совета, обоснование решения
- Подписанные DQ tolerances
- Периметр baseline controls
- Ритм attestation (default quarterly)
- Следующая дата рецертификации (default +12 месяцев)
Gate criteria для перехода в Maintenance:
- Запись в реестре создана
- Data Owner формально принимает (подписанное acceptance — email или e-signature)
- Initial работа по реализации controls запланирована
- DQ tolerances baselined (initial; refinable)
Пример SwiftRide T+1M: Data Council просматривает первый batch из 10 кандидатов (после initial nomination + review). Approves 6 как CDE подтверждено; 3 borderline → эскалирует; 1 not-CDE → архивирует. Протокол совета ссылается на записи в реестре.
Стадия 4: Maintenance
Владелец: Data Owner (primary accountability), Data Steward (operational execution).
Активности (ongoing):
- DQ-мониторинг — daily / hourly / per-batch проверки против tolerances.
- Реагирование на инциденты — когда DQ-проверка падает, incident workflow (M5 / M8).
- Quarterly attestation — Data Owner подписывает эффективность controls за период (M7).
- Управление изменениями — предложенные изменения датасета (schema, source) требуют CDE-aware review.
- Поддержка lineage — lineage до authoritative source остаётся актуальной.
- Sync метаданных — записи каталога поддерживаются актуальными.
Gate criteria для здорового maintenance:
- 4 quarterly attestations завершены в течение fiscal year
- DQ tolerances met >95% measurement windows
- Нет нерешённых инцидентов > 90 дней
- Покрытие lineage > заявленного tolerance (например, 95% column-level)
Failed maintenance триггерит эскалацию:
- Пропущенный attestation → эскалация CDO → уведомление audit committee, если пропущены 2.
- Повторный breach DQ tolerance → редизайн controls (M5).
- Gap в lineage → engineering remediation sprint.
Стадия 5: Retirement
Триггеры:
- Decommission системы — source-система выведена (например, legacy DB shut down).
- Изменение бизнес-модели — бизнес-юнит divested, продукт прекращён.
- Регуляторный delisting — регуляция, которая driving CDE-статус, отменена или изменён периметр.
- Re-scoping — re-scoring показывает, что датасет больше не соответствует CDE threshold (редко; обычно отражает баг в initial scoring).
- Замена — датасет заменён новым CDE, который теперь покрывает те же controls.
Процедура:
- Retirement proposal — Data Owner предлагает с rationale + триггером.
- Impact analysis — какие controls / evidence зависели от этого CDE.
- План замены / миграции — если датасет заменён, обеспечить миграцию controls.
- Data Council approval — формальный sign-off.
- Retirement record — запись в реестре со статусом «retired», retention метаданные для audit trail.
- Архивированный evidence — прошлые attestation packets сохранены по SOX retention (7 лет).
Критический анти-паттерн: silent retirement. CDE тихо удалён из реестра без формальной retirement record. Audit позже спрашивает «что случилось с CDE-007» — нет ответа. Всегда формальный retirement.
Визуализация lifecycle — sequence diagram
От nomination до первого quarterly attestation. Роли: Nominator, Steward, Owner, Council, DQ Engine
Ритм рецертификации
Default: Ежегодно минимум. Некоторые CDE — чаще:
| Характеристика CDE | Рекомендуемый ритм |
|---|---|
| Стандартный CDE (financial / operational) | Ежегодно |
| Regulatory-driven CDE (SOX, AMLR, GDPR Art. 30) | Ежегодно + после регуляторного изменения |
| High-risk CDE (Tier-1 operational, AI Act high-risk) | Раз в полгода |
| Новый CDE (первые 12 месяцев) | Ежеквартально (более частый fine-tuning) |
| Зрелый стабильный CDE (3+ года, нет инцидентов) | Ежегодно (рассмотреть раз в 2 года, если зрелый + governance committee одобряет) |
Процедура рецертификации:
- Извлечь запись CDE из реестра — текущее scoring, классификации, владелец, controls.
- Re-score через текущий фреймворк (potentially обновлённые веса, критерии).
- Проверить классификации — всё ещё PII? Всё ещё Confidential tier? Изменился ли GDPR scope?
- Проверить эффективность controls — past year attestations, частота инцидентов, частота breach DQ tolerance.
- Обновить или retire — запись в реестре обновлена, или инициирован retirement.
Типичный finding рецертификации: датасет эволюционировал — добавились новые columns, новые downstream consumers, новый regulatory exposure. Scoring остаётся тем же или растёт; периметр controls расширяется.
Retirement — когда и почему
Триггер 1: Decommission системы. SwiftRide мигрирует legacy CockroachDB cluster в Aurora PostgreSQL. Старая запись CDE для swiftpay.legacy.transactions retired; новая запись CDE для swiftpay.aurora.transactions создана. Past evidence сохранён.
Триггер 2: Изменение бизнес-модели. SwiftRide divests segment SwiftAds (гипотетически). Все записи CDE по SwiftAds retired. Evidence сохранён для potential audit / litigation.
Триггер 3: Регуляторный delisting. Гипотетически: некая юрисдикция отменяет требование data residency. Запись CDE для eu_data_residency_register может быть retired, если нет другой driving регуляции.
Триггер 4: Re-scoping. Редко. Initial scoring переоценил criticality (например, предположил regulatory exposure, но новое legal opinion clarifies нет exposure). Re-scoring → not-CDE → retirement. Документируйте тщательно — выглядит плохо, если воспринимается как governance reduction без basis.
Триггер 5: Замена. Новый CDE заменяет старый. Старый retired, новый active. Обеспечить, что миграция controls протестирована.
Правило retention: Retirement НЕ удаляет past evidence. SOX retention 7 лет; GDPR ROPA retention варьируется. Всегда retain evidence для покрытия audit period.
Версионирование определений CDE
Определения CDE эволюционируют. Без версионирования, «какое было обоснование scoring в Q3 2026?» становится неотвечаемым.
Минимальные поля версионирования:
version_number(семантический: 1.0 → 1.1 minor обновление tolerance → 2.0 обновление фреймворка scoring)version_effective_datechange_summary(1-2 предложения)changed_by(user)superseded_versions(ссылка на предыдущие)
Триггеры для version bump:
- Изменение DQ tolerance
- Изменение периметра (columns добавлены / удалены)
- Изменение владельца
- Изменение baseline controls
- Изменение классификации
Rule of thumb: любое изменение, которое затронет future attestation, должно поднять версию.
Пример SwiftRide: один CDE через 18 месяцев
Проследим CDE driver_earnings_ledger через программу:
| Таймлайн | Стадия | Событие |
|---|---|---|
| T0 (старт курса) | Ещё не CDE | Идентифицирован в Big 4 finding #3 (data-related findings). Формальной CDE-программы нет. |
| T+1M | Стадия 1: номинирован | CDO номинирует как часть initial portfolio. Форма заполнена, trigger=audit, proposed owner=VP Finance Marketplace. |
| T+1.5M | Стадия 2: review | Steward + VP Finance совместно scoring. 5/4/5/4 = 4.5 weighted (CDE подтверждён). Классификации: CDE + PII + Restricted. Gap analysis: нет текущих preventive controls; некоторые detective через dbt-тесты. |
| T+2M | Стадия 3: approved | Batch review Data Council approves. Запись в реестре v1.0 создана. DQ tolerances: accuracy 99.9%, completeness 100%, timeliness <2ч после поездки. Owner формально принимает. |
| T+3M | Стадия 4: старт Maintenance | Реализован baseline controls: schema validation на ingest, ежедневная сверка с payment processor, exception workflow для DQ failures. DQ engine активирован. |
| T+6M | Первый quarterly attestation | VP Finance подписывает первый quarterly attestation. 89% DQ tolerance met; 11% — один known issue (повторное rounding в DACH region). Issue задокументирован, remediation отслеживается. |
| T+9M | Maintenance + зрелость controls | Issue решён; DQ tolerance 99.4%. Walkthrough Big 4 — evidence package CDE просмотрен; significant findings нет. |
| T+12M | Первая рецертификация | Ежегодное re-scoring. Применены новые веса (обновление калибровки). Всё ещё CDE. Tolerances ужесточены (completeness теперь 100%, а не 99.99%). Релиз v1.1. |
| T+15M | Maintenance | 4 чистых quarterly attestation подряд. CDE помечен как «mature» — предлагается перейти на ежегодный ритм рецертификации (с раз в полгода). |
| T+18M | IPO + первый external audit | External аудитор просматривает evidence CDE. Driver earnings ledger — включён в ICFR scope. Нет связанного material weakness. |
В T+24M (после курса): если SwiftRide divests Marketplace BU (гипотетически), CDE driver earnings ledger retired через формальный процесс Стадии 5.
Анти-паттерны рецертификации
1. Rubber-stamp рецертификация. Owner копирует прошлогодние tolerances + подписывает. Пропускает actual re-scoring. Подрывает цель — framework drift не пойман.
2. Пропуск рецертификации, потому что «нет изменений». Даже если датасет не меняется, регуляторная среда меняется (новая регуляция, supervisor guidance). Всегда re-check классификации.
3. Рецертификация без back-testing. В прошлом году не было инцидентов — assumed tolerances хорошие. Возможно, tolerances слишком мягкие — back-test, используя симулированные DQ-сценарии.
4. Нет retirement records. CDE тихо исчезает из реестра. Audit позже — «куда делся CDE-014?» — нет ответа. Всегда формальный retirement.
5. Версионирование пропущено, потому что «минорное изменение». Каждое изменение tolerance требует version bump. Иначе — «какой tolerance был активен в Q3 2026?» неотвечаемо.
Итоги
- 5 стадий lifecycle: Nomination → Review → Approval → Maintenance → Retirement. Каждая — определённый владелец, входы / выходы, gate criteria.
- Nomination — кто угодно может номинировать; gate keeper — Steward, проверяет полноту.
- Review — применён фреймворк scoring; 4 dimensions + классификации + gap controls + оценка effort. 2-4 часа на кандидата в первом цикле.
- Approval — Data Council batch review раз в 2 недели. Запись в реестре создаётся при approval; gate формального acceptance владельцем.
- Maintenance — ongoing: DQ-мониторинг, реагирование на инциденты, quarterly attestation, управление изменениями, поддержка lineage.
- Retirement — decommission системы / изменение бизнеса / регуляторный delisting / re-scoping / замена. Всегда формальная запись; evidence хранится по SOX 7 лет.
- Ритм рецертификации: ежегодно по default; раз в полгода для high-risk; ежеквартально для новых (первые 12 месяцев); раз в 2 года разрешено для зрелых стабильных CDE.
- Версионирование — минимальные поля: номер версии, effective date, change summary, changed by, superseded versions. Bump на любое изменение, затрагивающее future attestation.
- Пример SwiftRide driver earnings ledger — полная траектория 18 месяцев T0 → IPO.
- Анти-паттерны: rubber-stamp рецертификация, пропуск рецертификации, нет back-testing, silent retirement, пропуск версионирования.
- Дальше: урок 7 — hands-on лаба: score 10 кандидатов SwiftRide, используя шаблон + фреймворк из последних 4 уроков.