LLM и Agent Governance

Введение

Уроки 01-05 этого модуля покрывали governance классических ML-моделей: principles (01), EU AI Act compliance (02), bias и fairness (03, 05), model documentation (04). Эти подходы рассчитаны на детерминированные модели: train → evaluate → deploy → monitor. У LLM и AI-агентов появляется новый класс рисков, который классический ML-governance не покрывает.

LLM не “тренируется” в традиционном смысле в production-цикле — модель приходит готовая (GPT-4o, Claude 4.7, Llama 3.3, или собственный fine-tune). Главный governance-вопрос смещается с “честно ли обучена модель” на “как мы используем её безопасно в продукте”. Атакующий не пытается отравить training data — он отправляет prompt, который заставляет модель раскрыть секреты, выполнить нежелательные tool calls, или обмануть пользователя hallucination-ом.

Агенты добавляют ещё одно измерение: модель не просто отвечает, она действует через tool calls (база данных, внешние API, выполнение кода). Каждый tool call — потенциальный security risk и compliance event.

В этом уроке: какие риски специфичны для LLM/agent (OWASP LLM Top 10 2025), как их инвентаризировать (NIST AI 600-1 GenAI Profile), как реализовать через ISO 42001, как governance-ить RAG и agents отдельно, какие tools (MLflow + Unity Catalog) дают практический AI BOM.

LLM-specific риски

Классические ML-риски: bias, drift, accuracy degradation. У LLM добавляется новый слой:

OWASP LLM Top 10 (2025)

OWASP опубликовал обновлённую версию Top 10 для LLM applications в 2024-2025. Изменения относительно первой версии:

Top 10 (2025):

1. LLM01: Prompt Injection — самый критичный. Direct и indirect.
2. LLM02: Sensitive Information Disclosure — поднялся с #6: PII, IP, proprietary алгоритмы.
3. LLM03: Supply Chain — model weights, datasets, dependencies.
4. LLM04: Data and Model Poisoning — training/fine-tuning data integrity.
5. LLM05: Improper Output Handling — XSS, SQL injection, CSRF из LLM output.
6. LLM06: Excessive Agency — agents с слишком широкими permissions.
7. LLM07: System Prompt Leakage — новый в 2025.
8. LLM08: Vector and Embedding Weaknesses — новый в 2025.
9. LLM09: Misinformation — hallucinations с реальным impact.
10. LLM10: Unbounded Consumption — DoS через расход tokens, cost amplification.

OWASP LLM Top 10 — рабочий threat model для security review LLM-приложений. Для каждого риска: definition, examples, prevention strategies, references.

NIST AI 600-1: GenAI Profile

NIST AI Risk Management Framework: Generative AI Profile (NIST AI 600-1) опубликован в июле 2024. Это расширение общего AI RMF специально для GenAI.

12 категорий риска NIST AI 600-1:

1. CBRN Information or Capabilities — Chemical, Biological, Radiological, Nuclear: модель помогает создать оружие массового поражения.
2. Confabulation — hallucinations и неуверенный output.
3. Dangerous, Violent, or Hateful Content — генерация harmful content.
4. Data Privacy — раскрытие PII из training data или контекста.
5. Environmental Impacts — углеродный след тренировки и inference.
6. Harmful Bias or Homogenization — bias amplification, monoculture.
7. Human-AI Configuration — over-reliance, automation bias, deskilling.
8. Information Integrity — disinformation, deepfakes.
9. Information Security — prompt injection, data exfiltration через модель.
10. Intellectual Property — copyright infringement в training data и output.
11. Obscene, Degrading, and/or Abusive Content — sexual content, abuse generation.
12. Value Chain and Component Integration — supply chain rooting от model providers до integrators.

NIST даёт 200+ конкретных actions для каждой категории, organized по lifecycle stage (design → development → deployment → monitoring → decommissioning) и функциональным ролям (Govern, Map, Measure, Manage).

Практическая ценность: NIST AI 600-1 — это inventory framework. Для каждой LLM/agent системы вы заполняете матрицу 12 категорий × lifecycle stages: какие риски релевантны, какие меры применены, какие residual.

ISO 42001 для LLM

ISO/IEC 42001:2023 — первый международный стандарт для AI Management System (AIMS). Не отраслевой стандарт, а management system в духе ISO 27001 для security или ISO 9001 для quality. Сертификация organization, не модели.

Что ISO 42001 требует для LLM:

• AI policy: документированная политика использования AI, утверждённая senior management.
• AI risk assessment: оценка рисков для каждой AI-системы, включая LLM-specific (prompt injection, hallucinations, etc.).
• Data management: policies для training data, validation data, RAG corpora — provenance, classification, retention.
• Transparency: documentation о возможностях и ограничениях LLM, доступная stakeholders.
• Human oversight: механизмы вмешательства человека (review queues, escalation, kill switches).
• AI lifecycle management: processes для design, development, deployment, monitoring, decommissioning.
• Continuous improvement: Plan-Do-Check-Act цикл — feedback loop для governance.

Для LLM-приложения ISO 42001 на практике включает:

• AI register: каталог всех LLM/agent систем organization.
• Каждая система имеет: AI risk assessment, model card, data card, monitoring plan, incident response plan.
• Annual audit AI Management System.

RAG governance

Retrieval-Augmented Generation добавляет в LLM-конвейер слой retrieval из corpus (vector DB, keyword search, hybrid). Это ввело новый governance-ландшафт.

Data provenance в RAG

Каждый chunk retrieved-контента должен сохранять metadata:

• Source document: URI, version, last modified, hash.
• Classification: PUBLIC / INTERNAL / CONFIDENTIAL / RESTRICTED.
• Owner: team / individual ответственные за корректность.
• Indexed at: timestamp.
• Retention policy: когда удалить из vector DB.

В production RAG-системах metadata теряется при chunking — chunk попадает в vector DB как plain text. Решение: chunk-level metadata в payload рядом с embedding. При retrieval metadata возвращается вместе с текстом, попадает в audit log и в context для LLM.

Access control в RAG

Security trimming inside the search tier: retrieval должен фильтровать chunks по правам пользователя ДО передачи в LLM. Если user не имеет доступа к документу X, chunks из X не попадают в context.

Реализация:

• При indexing записывать ACL метаданные в vector DB payload.
• При retrieval передавать user identity и фильтровать по ACL (filter expressions в Pinecone, Weaviate, pgvector).
• Не полагаться на post-filtering LLM (“you must not use document X”) — это prompt injection vulnerability.

Audit trail в RAG

Каждый запрос логируется с:

• User identity.
• Query (с PII redaction).
• Retrieved chunks (source URIs, не текст для compliance).
• LLM response (с PII redaction).
• Tool calls (если agent).
• Latency, tokens consumed.
• Citations: какие документы цитированы в ответе.

Compliance: для regulated industries (финансы, медицина) audit trail должен поддерживать reconstruction решения — какой документ привёл к ответу. Без этого нельзя удовлетворить EU AI Act Article 13 (transparency) и FDA SaMD requirements.

Agent governance

Agent — LLM с tool calls (database queries, web fetch, code execution, email send, ticket create). Каждый tool call — отдельный governance event.

Tool use authorization

Принцип least privilege: агент имеет минимальный набор tools для своей задачи.

• Whitelist tools: заранее определённый список разрешённых tools, не dynamic discovery.
• Schema validation: аргументы tool call валидируются против JSON schema до выполнения.
• Per-user permissions: какие tools доступны зависит от identity пользователя, не только от агента.
• Approval workflow: для destructive actions (DELETE, send_email, transfer_money) — human-in-the-loop approval.

Sandboxing

Code execution tools (Python REPL, shell) обязаны:

• Запускаться в изолированных containers (gVisor, Firecracker).
• No network access кроме whitelist (или вообще none).
• Ограничения CPU/memory/disk/time.
• Не иметь доступа к секретам и production credentials.

Audit trail для agents

Каждый turn логируется:

• User input.
• Tool calls (name, arguments, output).
• LLM reasoning (chain-of-thought, если доступен).
• Final response.
• Cost (tokens, USD).

Audit log — immutable, retained per compliance requirements (SOX 7 лет, HIPAA 6 лет, GDPR — variable).

Output filters

После LLM response, перед return пользователю:

• Safety classifier: Llama Guard / Perspective API / OpenAI Moderation API — детектят toxic, harmful, NSFW.
• PII redaction: регулярные выражения + NER модель для удаления PII перед logging и иногда перед return.
• Hallucination check: для RAG — verify что claims в ответе поддерживаются retrieved sources.
• Topic guardrails: off-topic выходы отклоняются (NeMo Guardrails, Guardrails AI).

AI BOM (Bill of Materials)

AI BOM — машиночитаемый inventory всех компонентов AI-системы: данные, модели, prompts, tools, dependencies. Аналог SBOM в supply chain security.

Что в AI BOM:

• Datasets: training data, fine-tuning data, RAG corpus — origin, license, classification, retention.
• Base model: name, version, provider, license (open weight / proprietary).
• Fine-tuned model: parent base model, fine-tuning data, hyperparameters, evaluation metrics.
• Prompts: system prompts, few-shot examples, tool descriptions — version-controlled.
• Tools: доступные tools, их schema, dependencies.
• Dependencies: Python packages, model serving infrastructure, vector DB.
• Lineage: какая версия модели обучена на каких данных, какие prompts использованы в каком deployment.

Стандарты: CycloneDX добавил ML-BOM profile для AI BOM. Также SPDX 3.0 включает AI/ML profile.

MLflow + Unity Catalog для AI BOM

MLflow 3 (2025) и Unity Catalog OSS дают практическую реализацию AI BOM:

• MLflow Model Registry в Unity Catalog: модель регистрируется как securable объект в catalog с lineage до upstream datasets.
• Automatic lineage: training run автоматически записывает dataset versions, hyperparameters, metrics.
• Model card как artifact: model card markdown хранится рядом с моделью.
• Multi-modal Unity Catalog: tables (training data) + functions (UDFs / tools) + models (fine-tunes) + agents (LLM apps) — единый граф lineage.

import mlflow
from mlflow.models import infer_signature

with mlflow.start_run() as run:
    mlflow.log_input(training_dataset, context="training")
    mlflow.log_input(eval_dataset, context="evaluation")
    mlflow.log_params(hyperparams)
    mlflow.log_metrics(eval_metrics)
    mlflow.transformers.log_model(
        transformers_model=model,
        artifact_path="llm",
        signature=signature,
        registered_model_name="catalog.schema.our_llm_v3",
        tags={"base_model": "llama-3.3-70b", "fine_tune": "lora"},
    )

В Unity Catalog модель catalog.schema.our_llm_v3 имеет связи lineage с upstream tables через MLflow integration. Это AI BOM, доступный через SQL.

Production checklist для LLM-приложения

Связь с другими модулями

• Урок 01 (AI governance principles): общие принципы — fairness, accountability, transparency, explainability — применимы к LLM с поправками (explainability LLM ограничена).
• Урок 02 (EU AI Act): Limited Risk classification для большинства LLM-приложений (chatbots, RAG), High Risk для специальных (HR, кредитный скоринг), Prohibited для social scoring.
• Урок 04 (model documentation): model card расширяется AI BOM для LLM.
• Модуль 09 урок 07 (lakehouse catalogs): Unity Catalog OSS как central plane для AI BOM (tables + models + agents).
• Модуль 06 (data quality): RAG corpus quality — это data quality на новом уровне (relevance, freshness, completeness вместо классических dimensions).