Model Documentation и Governance

Введение

AI-модель без документации — это чёрный ящик. Никто не знает, на каких данных она обучена, какие у неё ограничения, для каких групп она менее точна. Model Card (карточка модели) — стандартизированный формат документации ML-моделей, предложенный Margaret Mitchell и соавторами в 2019 году. Model Card решает проблему прозрачности: делает модель понятной для всех стейкхолдеров — от ML-инженера до compliance-офицера.

В этом уроке мы разберём: что входит в Model Card, как организовать версионирование и lineage моделей, какие роли участвуют в governance моделей, и как обеспечить audit trail для AI-решений.

Model Cards: стандарт документации

Model Card (Mitchell et al., 2019) — одностраничный документ, описывающий ML-модель по стандартизированной структуре. Цель: обеспечить прозрачность и воспроизводимость.

Обязательные секции Model Card

Сценарий: BioGenesis Pharma

BioGenesis разрабатывает AI-модель для приоритизации молекул-кандидатов в drug discovery. ML-команда из 3 человек обучила модель 6 месяцев назад, но Model Card не существует. Проблемы:

1. Новый сотрудник не понимает, какие features использует модель и почему
2. Compliance Officer не может ответить регулятору, как модель принимает решения
3. Исследователь не знает, для каких типов молекул модель менее точна (limitations)
4. CTO не знает, когда модель последний раз валидировалась

Все 4 проблемы решаются одним документом — Model Card.

Performance по субгруппам

Ключевая идея Mitchell et al.: aggregate performance маскирует проблемы. Модель с overall AUC-ROC 0.90 может иметь AUC-ROC 0.95 для одной группы и 0.72 для другой.

Model Card требует:

• Performance breakdown по каждому protected attribute (пол, возраст, этничность, регион)
• Performance breakdown по каждому ключевому use case
• Чётко обозначенные области, где performance ниже приемлемого

Версионирование и Model Lineage

Semantic Versioning для моделей

Model versioning следует принципу semantic versioning с адаптацией для ML:

Model Lineage

Model Lineage (происхождение модели) — полная цепочка от исходных данных через feature engineering и обучение до deployed модели.

Model Lineage отвечает на вопросы:

1. Из каких таблиц пришли данные? (Data Lineage)
2. Какие transformations применены? (Feature Engineering)
3. На каком snapshot данных обучена конкретная версия? (Training Data Version)
4. Какие hyperparameters использованы? (Training Config)
5. Кто утвердил deploy? (Approval Trail)

Model Governance Roles

Model Owner

Model Owner (владелец модели) — лицо, несущее конечную ответственность за модель: её точность, справедливость, документацию и compliance. Обычно ML Lead или Senior Data Scientist.

Обязанности:

• Поддержание актуального Model Card
• Инициация re-training при drift detection
• Escalation при fairness violations
• Ответы на запросы compliance и аудиторов

Model Validator

Model Validator (валидатор модели) — независимый специалист (не из команды разработки), проверяющий модель перед deploy и при каждом major/minor обновлении.

Обязанности:

• Независимая валидация performance на hold-out данных
• Проверка fairness-метрик по всем protected attributes
• Review Model Card на полноту и точность
• Вето на deploy при нарушении threshold’ов

Model Risk Committee

Model Risk Committee — орган, утверждающий deploy high-risk моделей. Состав: CDO, Head of ML, Compliance Officer, Business Owner (пользователь модели).

BioGenesis Model Governance:

1. Model Owner: Lead Data Scientist (команда Drug Discovery ML)
2. Model Validator: Biostatistician из отдельной команды Clinical Statistics
3. Model Risk Committee: CTO, Head of Research, Regulatory Affairs, DPO
4. Процесс: ML разрабатывает → Biostatistician валидирует → Model Risk Committee утверждает deploy

Audit Trail для AI-решений

Audit Trail (аудиторский след) — запись каждого решения AI-системы с достаточным контекстом для воспроизведения и объяснения.

Минимальный audit record:

{
  "decision_id": "CS-2025-11-00042389",
  "model_version": "v3.0.0",
  "timestamp": "2025-11-15T10:23:45Z",
  "input_features": { /* 23 features */ },
  "output": { "decision": "approved", "limit": 500000, "confidence": 0.87 },
  "explanation": { "top_features": ["income", "credit_history", "employment_years"] },
  "human_override": null
}

Retention: Audit records хранятся минимум в соответствии с отраслевыми требованиями (банки: 5-7 лет; медицина: 10+ лет).

Итоги

• Model Card (Mitchell et al., 2019) — стандартизированная документация ML-модели: Model Details, Intended Use, Training Data, Performance, Fairness, Limitations, Governance
• Performance по субгруппам критичнее overall performance — aggregate маскирует проблемы
• Semantic Versioning: Major (архитектура), Minor (retrain), Patch (bug fix)
• Model Lineage — цепочка от исходных данных до deployed модели
• 3 ключевые роли: Model Owner (ответственность), Model Validator (независимая проверка), Model Risk Committee (утверждение deploy)
• Audit Trail — запись каждого AI-решения для воспроизведения и объяснения
• Независимость валидации — валидатор не должен подчиняться разработчику

В следующем уроке мы перейдём к практической реализации: Fairness Implementation — как встроить fairness-проверки в production pipeline, CI/CD и непрерывный мониторинг.