Data Lifecycle Management

Введение

Сценарий: DataTech Solutions (ДатаТех Солюшенз)

DataTech через 12 месяцев governance-программы провёл аудит: данные создаются 4 командами, хранятся в 3 системах (PostgreSQL, ClickHouse, MinIO), используются 12 аналитиками, передаются 2 партнёрам. Но ни один датасет никогда не архивировался и ни один не уничтожался. Каждый гигабайт, когда-либо созданный DataTech, всё ещё существует — 4.2 TB в PostgreSQL, 8.1 TB в ClickHouse, 15 TB в MinIO.

VP Engineering спрашивает: “KPIs в зелёной зоне — Quality Score 95%, Catalog Coverage 90%. Зачем нам lifecycle management?” Ответ: потому что KPIs (урок 05) измеряют здоровье отдельных аспектов governance, но не показывают, как данные движутся через организацию от рождения до уничтожения. 27 TB данных без retention policy — это compliance-бомба и растущие затраты на хранение.

В предыдущих модулях мы изучали governance по отдельным областям: качество данных (M04), приватность (M05), безопасность (M06). В этом уроке мы объединим все области в единый фреймворк жизненного цикла данных (Data Lifecycle Management, DLM) — сквозную модель, которая показывает, какие governance-правила применяются на каждом этапе жизни данных.

Unified Lifecycle Framework: 6 стадий

Жизненный цикл данных состоит из 6 последовательных стадий. Каждая стадия имеет свои governance-требования и связана с конкретными модулями курса:

Связь стадий с модулями курса

Lifecycle Management — это не отдельная дисциплина. Это синтез всех governance-областей, организованный по временной оси жизни данных.

Stage-Specific Governance

Stage 1: Create (Создание)

Governance при создании данных — самая критичная стадия. Данные, не классифицированные при создании, становятся “тёмными данными” (dark data) — существуют в системах, но никто не знает их содержание, владельца и правила обработки.

Stage 2: Store (Хранение)

Governance хранения определяет, где, как долго и в каком формате хранятся данные.

Stage 3: Use (Использование)

Governance использования контролирует, кто и как обрабатывает данные.

Stage 4: Share (Передача)

Governance передачи — наиболее рискованная стадия. Данные покидают контролируемую среду.

Stage 5: Archive (Архивирование)

Governance архивирования определяет переход данных из активного состояния в долгосрочное хранение.

Stage 6: Destroy (Уничтожение)

Governance уничтожения — самая недооценённая стадия. Многие организации никогда не уничтожают данные.

Lifecycle Policies

Lifecycle policy — единый документ, определяющий governance-правила для всех 6 стадий. В отличие от отдельных политик (access policy, retention policy, privacy policy), lifecycle policy связывает все стадии в цепочку.

Сценарий: DataTech создаёт первую lifecycle policy

DataTech начинает с пилотного проекта: lifecycle policy для домена “Клиенты” (customers table + связанные данные). Пилот охватывает ~30% production данных, но самых чувствительных (PII). Результат пилота за 3 месяца: (1) обнаружено 800 GB данных без retention policy, (2) 200 GB мигрировано в cold storage (экономия $200/мес.), (3) 3 датасета уничтожены после истечения retention и legal hold verification.

Cross-Module Integration

Lifecycle Management связывает все governance-области через единую RACI-матрицу. Для каждой стадии определяются роли и ответственности.

Для сравнения: FinSecure Bank (ФинСекьюр Банк)

FinSecure имеет иную RACI для lifecycle stages. Для финансовых данных: Legal является Accountable на стадиях Share и Destroy (regulatory requirements). Для маркетинговых данных: Data Owner (Marketing) является Accountable. Разные классы данных требуют разных lifecycle RACI — единая матрица не работает для организации с 5+ доменами данных.

FinSecure решает проблему через classification-driven lifecycle rules: каждый уровень классификации (Public, Internal, Confidential, Restricted) имеет свой набор lifecycle-правил и RACI-назначений. Это позволяет автоматизировать governance: система определяет класс данных и применяет соответствующие правила без ручного вмешательства.

Lifecycle Metrics

Lifecycle Management добавляет новые метрики к KPI-dashboard (урок 05):

Time-in-Stage — ключевая lifecycle-метрика. Данные, “застревающие” на одной стадии, указывают на governance-пробел:

• Данные в “Use” дольше 2 лет без review -> отсутствует archive trigger
• Данные в “Store” без единого обращения -> “мёртвые данные”, candidates for archive/destroy
• Данные в “Share” без проверки consent -> compliance-риск

Итоги

• 6 стадий жизненного цикла: Create -> Store -> Use -> Share -> Archive -> Destroy
• Lifecycle Management — не отдельная дисциплина, а синтез Quality, Privacy, Security, Metadata governance по временной оси
• Classification-driven rules — разные классы данных требуют разных lifecycle-правил и RACI
• Lifecycle policy — единый документ, связывающий governance-правила для всех стадий
• Lifecycle metrics — Time-in-Stage, Transition Compliance Rate, Dark Data Rate дополняют KPI-dashboard
• Главный принцип: governance начинается при создании данных (стадия Create) и заканчивается только после верифицированного уничтожения (стадия Destroy)

Lifecycle management addresses internal data. But organizations also use external data from vendors, partners, and marketplaces. В следующем уроке мы изучим governance данных третьих сторон — управление вендорными данными, соглашения об обмене данными и оценку рисков внешних источников.