KPI: coverage, эффективность, MTTR и audit findings

Введение

SwiftRide T+18M, последний квартал pre-IPO. Партнёр аудита Big 4 Daria — обход Q1 2027: «Покажите мне KPI программы. Выборка 3-4 случайных; верифицируйте воспроизводимость; верифицируйте, что они отражают фактическое состояние программы vs aspirational-цели». CDO Anna представляет дашборд:

KPI	T0 (Q4 2025)	T+9M	T+15M	T+18M	Цель
CDE coverage %	8%	45%	80%	92%	≥ 90%
Control effectiveness %	62%	79%	88%	94%	≥ 95%
MTTR SEV-1 data-инцидентов	не измерялось	5.5ч	4.2ч	3.6ч	≤ 4ч
Критические audit findings	11	6	3	1	≤ 2

Daria: «Числа выглядят правильно. Но — покажите мне разрез Q3 2026 на coverage 80%; кто из 30 CDE зарегистрирован с полной цепочкой доказательств vs частичной? Дайте кликнуть в operating effectiveness доказательств — что насчёт CDE-SWR-018 — он зарегистрирован, но я вижу 65% effectiveness rate; что это означает? Было ли влияние инцидента?».

Если дашборд поверхностный — Daria неудовлетворена. Если KPI drill-downable к индивидуальному CDE + инциденту + доказательству контроля — уверенность Big 4 растёт. М8.8 — о том, как KPI строятся правильно: с формулами + порогами + антипаттернами + drill-down + ответственностью.

4 категории KPI

Категория	Описание	Аудитория
Coverage	Scope программы — какой % идентифицированных материальных рисков управляется?	CDO + Audit Committee
Control Effectiveness	Качество — контроли работают эффективно?	CDO + Risk Function + External Auditor
Operational	Daily-running метрики — MTTR инцидентов, здоровье пайплайна доказательств	Engineering + офис CDO
Audit Outcomes	Внешняя валидация — траектория findings, класс opinion	Audit Committee + Board

Каждая категория — 3-5 метрик; на метрику — формула + цель + drill-down + accountable + антипаттерны.

Категория 1: Coverage-метрики

KPI 1.1: CDE coverage %

Формула: CDE зарегистрированных с полной цепочкой доказательств / общее число CDE-кандидатов × 100%

Числитель: записи CDE в реестре со status=‘approved’ AND связанные контроли (M5) AND связанная BIA (M6) AND пайплайн доказательств работает (M7).

Знаменатель: CDE-кандидаты, идентифицированные по скорингу (M1.4), включая отложенные номинации.

Цель T+18M: ≥ 90%.

Accountable: CDO.

Drill-down: разбивка по BU; SwiftPay 95% / SwiftCapital 88% / Rides 92% / Delivery 90% / SwiftAds 85% / Marketplace 90%.

KPI 1.2: Tier-1 CDE coverage %

Формула: Tier-1 CDE с полными доказательствами / общее число Tier-1 CDE × 100%.

Цель T+18M: 100% — tier-1 должны быть полными.

Почему отдельно: tier-1 = материальные; от них зависит ICFR opinion.

KPI 1.3: Control coverage %

Формула: Контроли реализованные + протестированные / контроли, определённые в RCM × 100%.

Числитель: контроли, развёрнутые в production AND тест исполнен в квартал AND доказательство эмитировано.

Цель T+18M: ≥ 95%.

KPI 1.4: Lineage coverage %

Формула: CDE с эмитированным column-level lineage / общее число CDE × 100%.

Цель T+18M: ≥ 90% column-level (по M7.3); 100% dataset-level.

KPI 1.5: Vendor coverage %

Формула: CDE-поддерживающие вендоры с проревьюенным SOC 2 + обновлённым DPA + записью в RoI / общее число CDE-поддерживающих вендоров × 100%.

Цель T+18M: 100%.

Категория 2: метрики control effectiveness

KPI 2.1: Control effectiveness %

Формула: контроли, проходящие все квартальные тест-прогоны / контроли, исполненные × 100%.

Числитель: прогоны контролей с результатом result=‘pass’ за период.

Знаменатель: общее число прогонов контролей за период (включает провалившиеся И прошедшие).

Цель T+18M: ≥ 95% (по программе); контроли tier-1 ≥ 98%.

Drill-down: разбивка по контролю; провалившиеся прогоны расследуются.

KPI 2.2: SEV-1 control failure rate

Формула: контроли, проваливающиеся SEV-1 за квартал / общее число контролей × 100%.

Цель T+18M: ≤ 2%.

Зачем мониторится: SEV-1 = материальный провал; сигнал тренда.

KPI 2.3: Attestation completion %

Формула: подписанные CDE (Business Owner + 2L-ревью) / одобренные CDE × 100%.

Цель T+18M: 100% в 28-дневный цикл.

Зачем мониторится: запоздалая аттестация = операционный дефицит программы.

KPI 2.4: Drift detection coverage % (AI/ML)

Формула: high-risk модели с развёрнутым drift monitoring / общее число high-risk моделей × 100%.

Цель T+18M: 100% (по EU AI Act Art. 10 + Annex IV).

Категория 3: Operational-метрики

KPI 3.1: MTTR (Mean Time To Resolution) для инцидентов SEV-1

Формула: Σ (timestamp resolution - timestamp detection) для SEV-1 / количество SEV-1 инцидентов.

Цель T+18M: ≤ 4 часа (по SLA M7.4).

Траектория SwiftRide: T0 не измерялось → T+9M 5.5ч → T+15M 4.2ч → T+18M 3.6ч.

Антипаттерн: оптимизация MTTR без RCA — преждевременное закрытие для попадания в SLA; паттерн обнаружен M7.4.

KPI 3.2: Время до первого уведомления регулятора

Формула: Среднее (timestamp первой подачи регулятору - timestamp detection) для применимых regulator clocks.

Цель T+18M: ≤ 3.5ч (в пределах наиболее строгого 4ч DORA / PSD2).

KPI 3.3: Полнота пайплайна доказательств

Формула: эмитированные артефакты доказательств / ожидаемые эмиссии × 100%.

Цель T+18M: ≥ 99.5%.

Антипаттерн: пропущенные эмиссии не обнаружены; ссылка M7.2.

KPI 3.4: Change emergency rate

Формула: Emergency-изменения / общее число изменений × 100%.

Цель T+18M: ≤ 5%.

SwiftRide: Q3 2026 5/250 = 2%; Q4 2026 4/240 = 1.7%; в пределах порога.

KPI 3.5: Drift incident rate

Формула: нарушения drift, триггерящие SEV-2/1 за квартал.

Цель T+18M: ≤ 3 за квартал для всего портфеля.

Категория 4: метрики audit outcomes

KPI 4.1: Rate audit findings (critical)

Формула: количество критических / общее число findings × 100%.

Critical = кандидат на material weakness по AS 1305.

Цель T+18M: ≤ 5% критических от общего; ≤ 2 абсолютных критических.

Траектория: T0 — 11 критических / 25 всего = 44% → T+18M — 1 / 18 = 5.6%.

KPI 4.2: Timeline закрытия findings

Формула: Среднее (timestamp закрытия - дата finding) для закрытых findings.

Цель T+18M: ≤ 90 дней для критических; ≤ 180 дней для medium.

KPI 4.3: Rate прохождения тестов восстановления

Формула: успешные DR-тесты / общее число запланированных тестов × 100%.

Цель T+18M: 100% запланированных; ≥ 95% pass.

Ссылка: тестирование DRP M6.6.

KPI 4.4: Класс opinion external auditor

Возможные значения: unqualified / qualified / adverse / disclaimer.

Цель T+18M: unqualified.

Зачем мониторится: ICFR opinion — прямой блокер IPO, если не unqualified.

Дашборд траектории SwiftRide T0 → T+18M

KPI программы CDE SwiftRide — траектория T0 (Q4 2025) → T+18M (Q2 2027)

4 категории × репрезентативная метрика каждая. Baseline → поквартально → цель. Готовность pre-IPO листинга зависит от достижения целей T+18M.

COVERAGE: CDE %T0: 8% → T+18M: 92%

EFFECTIVENESS: Controls %T0: 62% → T+18M: 94%

OPERATIONAL: MTTRT0: не измерялось → T+18M: 3.6ч

AUDIT: Critical findingsT0: 11 → T+18M: 1

Антипаттерны в дизайне KPI

Gaming metrics

Паттерн: инженер маркирует SEV-1 как SEV-2, чтобы избежать влияния на метрику SLA SEV-1; метрика улучшается; реальность не меняется.

Почему плохо: паттерн management override PCAOB по M7.4; надзор обнаружит через sample audit.

Исправление: severity автоматизирована (tier CDE × тип правила); ручной override требует совместного подписания CDO + Data Risk Manager + явного обоснования + периодической sample-проверки Internal Audit.

Vanity metrics

Паттерн: “12 контролей развёрнуто в Q3” — звучит впечатляюще; не отражает effectiveness или coverage.

Почему плохо: выглядит занято; не измеряет результат.

Исправление: outcome-based метрики — effectiveness %, coverage %, MTTR; метрики активности только supplemental.

Single-number dashboard

Паттерн: дашборд Audit Committee показывает composite “92% programme score”; никто не может drill down.

Почему плохо: composite скрывает концентрацию риска; аудитор не может реконструировать; ожидание прозрачности AS 2201 не выполнено.

Исправление: дашборд слоистый — composite + drill-down по категориям + drill-down по CDE + доступ к сырым доказательствам. Ссылка на дизайн дашбордов M7.6.

Паттерн Green-everywhere

Паттерн: каждая метрика green каждый квартал; программа < 12 месяцев; статистически маловероятно.

Почему плохо: по M7.6 — red flag PCAOB inspection; паттерн “слишком хорошо, чтобы быть правдой”; аудитор скептичен.

Исправление: ревью порогов; обеспечить yellow / red, где реалистично; Internal Audit верифицирует выборку ежеквартально.

Только lagging-метрики

Паттерн: KPI все backward-looking (audit findings, attestation completion); нет forward-индикаторов.

Почему плохо: инциденты срабатывают без предупреждения; нет управления программой.

Исправление: leading-индикаторы — счётчики drift detection, объём апрувов CAB, свежесть реестра, vendor scorecards; баланс leading + lagging.

Проверка знанийKnowledge check

Ревью дашборда SwiftRide T+17M — председатель Audit Committee Mira спрашивает: 'Programme score 91% — выглядит здорово. Но в прошлом квартале у нас был инцидент SwiftCapital ECL — почему он не отражён? И каков тренд на Q1 2027?'. CDO Anna должна защитить дизайн KPI + идентифицировать разрывы + предложить улучшения. Детальная дискуссия + drill-downs + возможности улучшения.

ОтветAnswer

Ответ CDO Anna председателю Audit Committee: (1) Объяснение composite 91%: programme score = взвешенная комбинация 4 категорий: Coverage (вес 30%) 92% + Control Effectiveness (30%) 94% + Operational (20%) 88% + Audit Outcomes (20%) 90%. Вычислено = 91.4% округлено. Каждая категория drill-downable. (2) Отражение инцидента SwiftCapital ECL — drill-down категории Operational: (a) метрика MTTR SEV-1 — Q4 2026 включал инцидент SwiftCapital ECL; MTTR 4.8ч (выше цели 4ч); годовое среднее подтянуто к 3.9ч в пределах цели, но Q4 конкретно выше. (b) Drift incident rate — Q4 2026 = 1 нарушение drift (в пределах цели ≤ 3 за квартал); но эта метрика считает ОДНО событие, тогда как влияние ($3.2M корректировка provision + уверенность аудитора + переработка документации Annex IV) = материально; метрика не захватывает величину. (c) Восстановление от инцидента отражено в дашбордах Q1 2027: % завершения превентивных действий, развёртывание переобученной модели, статус soak-периода, завершение обновления Annex IV. (3) Идентифицирован разрыв — отсутствует magnitude-weighted метрика инцидентов: (a) Текущая = метрика-счётчик; трактует инцидент $50 так же, как $3.2M; (b) Улучшение: добавить метрику 'aggregate financial impact incidents Q' — сумма оценок влияния из RCA-документов; Q4 = $3.2M; цель ≤ $1M / квартал (3-квартальный rolling); SwiftRide нарушает. (c) Это делает инциденты видимыми пропорционально; поддерживает oversight Audit Committee. (4) Тренд индикаторов Q1 2027 (leading): (a) Drift monitoring — модель V3 переобучена Q4; soak-период идёт; PSI стабилен на 0.12 против порога 0.15; тренд благоприятный. (b) Объём апрувов CAB — Q1 в нормальном тренде; не over-rotated после инцидента. (c) Свежесть реестра — 96% записей обновлены < 90 дней; рост с 92%. (d) Vendor scorecard — exit-стратегии Confluent + Databricks протестированы в январе (закрытие разрыва); скоры растут. (e) Полнота документации Annex IV — pricing engine 95% (было 70% T+14M); SwiftCapital ECL 88% (было 40% T+14M); matching V4 60% (было 20% T+14M); все улучшаются. (5) Возможности улучшения: (a) Magnitude-weighted метрика инцидентов добавлена Q1 2027 — захватывает долларовое влияние, не только счёт; по антипаттерну 'vanity metric'. (b) Панель leading-индикаторов реструктурирована: 6 forward-метрик трекаются еженедельно — сигналы drift + латентность CAB + свежесть реестра + обновление vendor scorecard + полнота Annex IV + rate emergency change; видны отдельно от composite. (c) Ежеквартальное Internal Audit ревью адекватности порогов дашборда (избегать паттерн green-everywhere); если всё green > 6 месяцев, ужесточение порогов; ревью Q1 2027 запланировано. (d) Улучшение drill-down — клик на ячейку composite навигирует к таблице по CDE; клик по CDE навигирует к контролям + доказательствам; воспроизводимость для аудитора верифицирована на симуляции walkthrough Big 4 Q3 2026. (e) Ревью порога материальности — порог материальности drift incident сейчас $1M (одиночный инцидент); ревью против прокси SAB 99 5% pre-tax income ($X — в ожидании раскрытия IPO); согласовать с auditor materiality. (6) Конкретные действия, запрошенные Mira: (a) Колода Audit Committee — ретроспектива Q4 2026 включает явный слайд об инциденте SwiftCapital ECL — финансовое влияние $3.2M + превентивные действия + lessons learned + сохранена независимость Three Lines; не похоронен в MTTR operational. (b) Оценка кандидата на material weakness по AS 1305 задокументирована — drift SwiftCapital ECL = уровень significant deficiency (не material weakness — одиночный инцидент + превентивное завершено + soak продолжается); независимая оценка Internal Audit подтверждает; advisory-звонок партнёра Big 4 Daria подтверждает. (c) Recovery KPI добавлен Q1 2027 — timeline завершения превентивного действия на критический инцидент; цель 90% on-time по SLA M7.4. (7) Импликации pre-IPO листинга: апгрейд дашборда поддерживает unqualified opinion Big 4; magnitude-weighted метрика согласуется с auditor materiality; независимость Three Lines продемонстрирована; цель листинга Q2 2027 сохранена. (8) Избегание антипаттернов: (a) НЕ green-everywhere — категория Operational Q4 87% (ниже цели 90%) из-за инцидента ECL; честное отражение. (b) НЕ vanity — outcome-метрики доминируют; активность supplemental. (c) НЕ single-number-only — composite + drill-down + по CDE + по контролю. (d) Баланс leading-lagging — leading-панель отдельно. (9) Пакет board pre-IPO реструктурирован — рейтинг зрелости программы: Coverage GREEN (92%, цель 90%); Effectiveness GREEN (94%, цель 95% — в пределах разумной вариации для предстоящего квартала); Operational YELLOW (специфичный инцидент Q4; тренд улучшается в Q1); Audit Outcomes GREEN (1 критический из 18; цель ≤ 2; на треке); общая рекомендация AMBER в ожидании закрытия Operational Q1 2027 (превентивное завершено + soak верифицирован). Честный amber-рейтинг > необоснованный green; сохраняет доверие Big 4; поддерживает решение pre-IPO листинга. (10) Пункты повестки следующего квартала — обновление дашборда Q1 2027 с magnitude-weighted метрикой + реструктуризация панели leading-индикаторов + ревью порогов Internal Audit; сессия ревью дашборда Audit Committee март 2027; mid-quarter check-in февраль.

Дизайн дашборда — ссылка на M7.6

По M7.6 — 3 audience-специфичных вью:

Офис CDO (Looker daily operational) — гранулярные метрики 15+ плиток; drill-down к сырым доказательствам; используют инженерные команды.
Audit Committee (Hex quarterly strategic) — 7-10 метрик на 1 странице + 5-7 страниц backup; presentation-quality.
External Auditor (read-only доступ к сырому) — без агрегации; Snowflake-вью + доказательства S3 + lineage Marquez; IPE по AS 1105 ¶.10.

Единый источник истины — материализованное представление Snowflake metrics.cde_programme_kpis; обновляется ежедневно; dimensional-модель (date × bu × tier × metric); audit-traceable.

Резюме

4 категории KPI: Coverage (scope программы) / Control Effectiveness (качество) / Operational (daily-running) / Audit Outcomes (внешняя валидация).
На категорию 3-5 метрик с формулами + целями + accountable + drill-down: CDE coverage %, tier-1 coverage %, control coverage %, lineage coverage %, vendor coverage %; control effectiveness %, rate SEV-1 failure, attestation completion %, drift detection coverage %; MTTR, время первого уведомления регулятора, полнота пайплайна доказательств, rate change emergency, rate drift incident; rate audit findings, timeline закрытия findings, rate прохождения тестов восстановления, класс opinion external auditor.
Траектория SwiftRide T0 (Q4 2025) → T+18M (Q2 2027): CDE coverage 8% → 92%, control effectiveness 62% → 94%, MTTR не измерялось → 3.6ч, критические audit findings 11 → 1.
Антипаттерны: gaming (манипуляция severity), vanity (активность, не результат), single-number dashboard (нет drill-down), green-everywhere (статистическая маловероятность), только lagging (нет forward-индикаторов).
Дизайн дашборда — 3 audience-вью по M7.6; единый источник истины — материализованное представление Snowflake; audit-traceable.
Возможности улучшения всплывают через ежеквартальное ревью порогов Internal Audit; magnitude-weighted метрики; панели leading-индикаторов.

М8 завершён. В М9 (capstone) — все 8 модулей применяются к comprehensive-сценарию запуска CDE-программы SwiftRide.

KPI эффективности DG-программы — методология метрик Implementation Roadmap — trajectory зрелости