Learning Platform
Глоссарий Troubleshooting
Урок 01.01 · 18 мин
Средний
CDECourse OverviewAudienceScope

Введение

Этот курс отвечает на один практический вопрос: что должна сделать компания, чтобы данные не стали причиной material weakness, регуляторного штрафа или провала аудита — и как построить эту защиту так, чтобы её приняли Big 4, ECB JST или инспекционная команда PCAOB.

Курс выходит за рамки классического Data Governance. DG объясняет, почему организация управляет данными — этот курс учит, что именно должна делать рабочая группа из senior data engineer, internal auditor и compliance officer в понедельник утром после finding из оценки готовности к pre-IPO.

Зачем нужен этот курс

Большинство DG-программ останавливаются на трёх артефактах: data catalog с заполненными полями owner, набор DQ-тестов в dbt и бизнес-глоссарий на 200 терминов. Этого достаточно, чтобы пройти внутренний DG-аудит. Этого недостаточно, когда:

  • Big 4 запрашивает evidence package для контроля IT-DQ-04 за Q3 — а у вас скриншоты без timestamp и retention.
  • ECB JST спрашивает, какие именно data elements питают строку 230 COREP, и хочет увидеть end-to-end lineage с DQ-чекпоинтами.
  • Pricing engine классифицируется как high-risk system по EU AI Act Annex III EU AI Act Art. 10 — и нужна задокументированная data governance для training, validation, testing данных.

Курс закрывает этот разрыв. Не «как сделать каталог», а «как сделать каталог, проходящий аудит, и держать его в этом состоянии 4 квартала подряд».

Для кого курс

Курс одновременно адресует три аудитории, потому что реальная CDE-программа требует их совместной работы. У каждой роли — свой угол:

СлойКтоЧто получит
Инженеры (~50%)Senior data engineers, data platform leads, ML platform engineersКак технически реализовать CDE-контроли — теги, DQ-as-code, lineage с masking-флагами, evidence-пайплайны. Как разговаривать с аудитором на его языке.
Risk / GRC / Audit (~30%)Internal audit, SOX compliance, data risk specialists, model risk officersКак переводить регуляторные требования в конкретные data controls. Как читать lineage-диаграмму и понимать последствия для ICFR.
Руководство (~20%)CDO, Head of Data Governance, Director of Internal AuditКак обосновать программу перед советом директоров, выстроить операционную модель, измерить зрелость, не утонуть в vendor pitches.

Каждый урок имеет маркер audience во frontmatter: engineers, risk-grc, leadership или all. Если урок маркирован — это не значит, что остальным он бесполезен; это значит, что плотность узкоспециальных деталей максимальна для маркированной аудитории.

Что узнаете по итогу

К концу курса вы способны:

  1. Запустить CDE-программу с нуля — от criticality scoring до registry data model и операционного ритма.
  2. Спроектировать контроли для каждого CDE — preventive, detective, corrective; manual / automated; design vs operating effectiveness — и связать их с ICFR-ассертациями и принципами BCBS 239.
  3. Построить evidence pipeline — какие артефакты генерируются автоматически, какие требуют human attestation, как их retention и tamper-evidence удовлетворяют аудитора.
  4. Прочитать регуляторный текст — SOX AS 2201 PCAOB AS 2201 ¶.21, BCBS 239 Principle 3-4 BCBS 239 Principle 3, DORA Articles 5-15, EU AI Act Annex III — и понять, какие обязательства по данным из них следуют.
  5. Выстоять в аудите — от planning meeting до management response на findings; работать как с external Big 4, так и с запросом регулятора (Article 6, Wells notice).
  6. Объяснить материал совету директоров и регулятору — без жаргона, с цифрами, с risk appetite-фреймингом.
Проверка знанийKnowledge check
Команда Data Governance гордится тем, что 97% датасетов в OpenMetadata имеют поле owner. CFO готовит первый 10-K. Достаточно ли этого как evidence of effective ICFR-data control?
ОтветAnswer
Нет. Заполненное поле owner — это metadata о каталоге, не доказательство operating effectiveness контроля. Для аудита SOX AS 2201 нужно: (1) документация design — какой именно control эта атрибуция обеспечивает, через какую процедуру, кем и когда выполняется; (2) evidence operating effectiveness — за период (обычно весь год), с timestamps, sample retention минимум год; (3) IPE-обоснование, если списки owner-ов выгружены из каталога — кто валидировал completeness/accuracy. Каталог с полем owner — это всего лишь артефакт, который ещё нужно обвязать контролями.

Чем курс НЕ является

Эти границы стоит зафиксировать сразу, чтобы не было разочарования к M3:

  • Не юридический совет. Курс цитирует регуляции и объясняет их операционные последствия, но не даёт legal opinion. Перед применением в production верифицируйте текущее состояние с квалифицированным юристом и первоисточниками. Этот дисклеймер звучит здесь один раз и распространяется на весь курс.
  • Не подготовка к сертификации. Курс не готовит к CISA, CRISC, CIA, CDMP, CCEP, CRCM. Если у вас цель «сдать CISA через 8 недель» — берите Wiley CISA Review Manual; если цель — научиться делать работу так, чтобы держатели CISA вас уважали, — оставайтесь.
  • Не tool tutorial. Мы упоминаем OpenMetadata 1.5.x, Great Expectations 1.17.1, Soda Core 4.0, Collibra, Atlan, Microsoft Purview — но в формате блоков <ToolDeepDive> с зафиксированной версией. Концепты живут вне tooling-блоков. См. урок «Как навигироваться» в этом модуле.
  • Не product compliance guide. Курс не учит, как заполнить SAR в FinCEN или Form 8-K Item 1.05. Это специализация GRC-практиков; курс даёт data-side контекст, на котором эти filings базируются.
  • Не замена DG-курса. Если вы не знакомы с моделью ownership (Owner / Steward / Custodian), data lineage, бизнес-глоссарием — пройдите сначала соответствующие модули data-governance-course. Урок 3 этого модуля даёт refresher с указанием конкретных DG-уроков.
WARNING

Юридический дисклеймер (один раз на весь курс): Материалы курса предназначены для образовательных целей. Регуляторные требования эволюционируют; даты и интерпретации могут меняться. Перед применением в production-контексте обязательна верификация с квалифицированным юристом, compliance officer и primary regulatory sources.

Структура курса (обзорная)

10 модулей, выстроенных от концепта к операционной модели. Каждый модуль закрывает один логический блок: от «что такое CDE» до «как выстраивать dry-run SOX».

Карта модулей курса

От foundations к capstone — линейный путь с возможностью выборочного прохождения по маркеру audience

M0 Introduction

M0 — где вы сейчас. Введение, SwiftRide, DG-refresher.

M1 CDE Foundations

M1 — что такое CDE, материальность, criticality scoring, как принимается решение о номинации

M2 Risk Frameworks

M2 — COSO, ISO 31000, Three Lines Model, IIA Standards 2024

M3 Regulatory Landscape

M3 — SOX, BCBS 239, DORA, EU AI Act, GDPR, PCI-DSS, AMLR — что они требуют от данных

M4 CDE Inventory

M4 — построение реестра CDE на 24-60 элементов, data model, привязка ownership

M5 Controls Design

M5 — preventive/detective/corrective контроли, manual vs automated, маппинг на ITGC

M6 BIA / BCP / DRP

M6 — Business Impact Analysis, RTO/RPO, BCP/DRP для CDE

M7 Evidence & Attestation

M7 — data quality как evidence, каденс аттестации, retention доказательств, IPE

M8 Operating Model

M8 — operating cadence, RACI, SDLC gates, change-management для CDE

M9 Capstone

M9 — capstone: запуск CDE-программы SwiftRide за 18 месяцев, имитация SOX dry-run

Модули M0-M2 — концептуальные foundations. M3-M5 — основная инженерная часть. M6-M8 — операционные практики. M9 — capstone, в котором всё ранее построенное собирается в имитацию реальной 18-месячной программы SwiftRide.

Линейное прохождение рекомендуется, но выборочное прохождение допустимо: руководство может начать с M0 → M2 → M8; инженеры — M0 → M1 → M4 → M5 → M7; risk/audit — M0 → M3 → M5 → M7.

Что нужно для начала

  • DG-курс пройден или эквивалентный опыт (см. урок 3 этого модуля).
  • Базовое понимание SQL и дата-пайплайнов — достаточно JOIN, WINDOW FUNCTIONS, понимания ETL против ELT.
  • Знакомство с любой регулируемой отраслью — финансы, страхование, healthcare, telecom. Не обязательно, но даёт контекст для регуляторных модулей.
  • 18-25 часов на полное прохождение (45 часов с opt-in practice и tooling deep-dives).

Итоги

  • Курс закрывает разрыв между «у нас есть catalog с полями owner» и «мы прошли первый SOX-аудит без material weakness».
  • Целевая аудитория — инженеры (50%), risk/GRC (30%), руководство (20%); каждый урок маркирован audience.
  • Курс не заменяет legal counsel, не готовит к сертификации, не учит вендорским инструментам — он учит операционной практике.
  • Структура: 10 модулей от foundations к capstone; выборочное прохождение допустимо по маркерам audience.
  • Дальше — урок «Как навигироваться по курсу» с правилами чтения, практик и tooling-блоков.

Как создавался курс

Курс создан при участии Claude (Anthropic) как соавтора: ИИ помогал писать материалы, структурировать темы, генерировать примеры кода и диаграммы. Каждая глава проходила ручную сверку с первоисточниками — спецификациями, документацией, исходным кодом рассматриваемых систем — но гарантировать 100% точность невозможно.

Если вы заметили неточность, опечатку или хотите предложить улучшение — напишите в Telegram-группу курса. Это самый ценный вклад в курс, который вы можете сделать.


Углублённое изучение с Claude

Курс рассчитан на самостоятельное изучение, но любая теория быстрее ложится, если задавать вопросы. Рекомендую держать рядом браузерное расширение Claude (claude.com/download) — оно работает с контентом открытой страницы: выделяете кусок урока и спрашиваете напрямую.

Сценарии, которые особенно хорошо работают для углублённого погружения:

  • «Объясни проще» / «дай ещё один пример» — когда формулировка из урока не дошла с первого раза.
  • «Покажи, как это устроено на уровне кода / железа» — когда хочется спуститься на слой ниже того, что даёт урок.
  • «Как это связано с [другая тема курса]» — когда нужно увязать концепцию с тем, что было раньше.
  • «У меня в проекте стек X — как применить?» — когда хочется примерить материал на свой реальный кейс.

Это не замена курсу, а способ ускорить интеграцию материала в вашу картину мира. Если что-то из ответов Claude расходится с уроком — присылайте в Telegram-группу, курс будет уточнён.


Нашли ошибку?

Если заметили неточность, опечатку или хотите предложить улучшение:

Telegram-группа курса
Обсуждение, вопросы, предложения

Telegram-канал

Подписывайтесь, чтобы узнавать об обновлениях и новых курсах:

@levoely_channel
Новости, обновления, новые курсы

Проверьте понимание

Результат: 0 из 0
Прикладной
Вопрос 1 из 4. Команда Data Governance отчитывается перед board, что 97% датасетов в OpenMetadata имеют поле owner и business glossary заполнен на 80%. CFO готовит первый 10-K. Команду спрашивают, достаточно ли этого как evidence of effective ICFR-data control для SOX 404 audit. Что наиболее точно описывает ситуацию?

Закончили урок?

Отметьте его как пройденный, чтобы отслеживать свой прогресс

Войдите чтобы оценить урок

Прогресс модуля
0 из 4