Глоссарий — Data Modeling

Моделирование данных — процесс проектирования структуры данных: какие сущности существуют, какими атрибутами обладают, как связаны между собой и как это лучше уложить в конкретное хранилище. Фундамент профессии data-инженера: качество модели определяет цену каждого последующего запроса и изменения.

Концептуальная модель — высокоуровневое описание бизнес-сущностей и связей между ними без атрибутов, типов и ключей. Технологически нейтральна. Её аудитория — бизнес: модель отвечает на вопрос «о чём данные», а не «как они хранятся».

Логическая модель — детализация концептуальной: все сущности, все атрибуты, ключи (PK/FK), результат нормализации. Ещё не привязана к конкретной СУБД — нет типов данных, индексов и физических настроек.

Физическая модель — реализация логической в конкретной СУБД: таблицы, столбцы с типами данных, индексы, партиционирование, constraints, tablespaces. То, что реально выполняется в виде DDL.

Сущность — объект реального или абстрактного мира, о котором система хранит данные: клиент, заказ, товар, договор. В реляционной реализации сущность обычно превращается в таблицу.

Атрибут — свойство сущности или связи: имя клиента, дата заказа, цена товара. В реляционной модели атрибут становится столбцом таблицы.

Связь — ассоциация между сущностями: клиент размещает заказ, заказ содержит товары. Характеризуется кардинальностью и опциональностью.

Составной атрибут — атрибут, разбиваемый на более мелкие осмысленные части: адрес = улица + город + индекс, ФИО = фамилия + имя + отчество. На физическом уровне обычно раскладывается на отдельные столбцы.

Многозначный атрибут — атрибут, который для одной сущности может иметь несколько значений: несколько телефонов у клиента. В реляционной модели не хранится в одной ячейке (нарушение 1NF), а выносится в отдельную таблицу.

Производный атрибут — атрибут, вычисляемый из других данных: возраст из даты рождения, сумма заказа из строк заказа. Хранить его — осознанная денормализация ради скорости чтения.

Кардинальность — количественная характеристика связи: сколько строк одной сущности соответствует строке другой. Основные типы: 1:1, 1:N, M:N. В реляционной теории также число tuples в отношении.

Опциональность (минимальная кардинальность) — обязательно ли участие сущности в связи: mandatory (хотя бы одна связь обязательна) или optional (связи может не быть вовсе). В Crow's Foot обозначается чёрточкой (один) и кружком (ноль).

ER-диаграмма (Entity-Relationship) — графическое представление концептуальной/логической модели: сущности, их атрибуты и связи. Главный язык общения между аналитиком, бизнесом и инженером на этапе проектирования.

Нотация «вороньей лапки» (Information Engineering) — индустриальный стандарт ER-диаграмм. Сущность — прямоугольник, связь — линия; символы на концах задают кардинальность: «лапка» = многие, кружок = ноль/optional, чёрточка = один/mandatory. Компактна.

Нотация Чена — историческая нотация ER-моделирования: сущность — прямоугольник, атрибут — овал, связь — ромб, кардинальность подписывается цифрами 1/N/M. Многословна и занимает много места, чаще встречается в обучении и раннем дизайне.

Слабая сущность — сущность, не имеющая собственного полного ключа; идентифицируется только через сущность-владельца плюс частичный ключ (discriminator). Пример: строка заказа существует лишь в контексте заказа.

Сильная (регулярная) сущность — сущность с собственным первичным ключом, существующая независимо от других. Противоположность weak entity.

Обобщение/специализация — отношение supertype/subtype: общая сущность (например, «Сотрудник») и её специализации («Штатный», «Контрактник»). Бывает disjoint/overlapping и total/partial по полноте участия.

Отношение — в реляционной модели Кодда множество (set) кортежей с общей схемой. На практике соответствует таблице. Поскольку это множество, дубликаты строк недопустимы.

Кортеж — одна строка отношения: набор значений по всем атрибутам схемы. В реляционной теории кортежи неупорядочены и уникальны внутри отношения.

Домен — множество допустимых значений атрибута: тип плюс ограничения. Например, домен «возраст» — целые числа от 0 до 150. На физическом уровне приближается типом данных и CHECK-ограничениями.

Реляционная алгебра — формальный язык операций над отношениями, теоретическая основа SQL. Базовые операторы: σ (selection) фильтрует строки, π (projection) выбирает столбцы, ⋈ (join), ∪/∩/− (теоретико-множественные), × (декартово произведение), ρ (rename).

Селекция — операция реляционной алгебры, отбирающая кортежи, удовлетворяющие предикату. Прямой аналог WHERE в SQL.

Проекция — операция реляционной алгебры, выбирающая подмножество атрибутов и удаляющая получившиеся дубликаты строк. Аналог SELECT-списка столбцов с DISTINCT.

NULL — маркер отсутствующего, неизвестного или неприменимого значения. Не равен нулю, пустой строке или другому NULL. Ломает интуицию: любое сравнение с NULL даёт UNKNOWN, а не TRUE/FALSE.

Трёхзначная логика (3VL) — логика SQL с тремя значениями: TRUE, FALSE, UNKNOWN. Появляется из-за NULL: предикат с NULL возвращает UNKNOWN, и строка не попадает в результат WHERE (фильтр пропускает только TRUE).

Суперключ — набор атрибутов, уникально идентифицирующий каждую строку отношения. Может содержать лишние атрибуты сверх минимально необходимых.

Потенциальный ключ — минимальный суперключ: ни один атрибут нельзя убрать без потери уникальности. У отношения может быть несколько candidate keys.

Первичный ключ — выбранный из candidate keys основной идентификатор строки. Обязан быть NOT NULL, уникальным и стабильным во времени.

Внешний ключ — атрибут (или набор), ссылающийся на первичный (или уникальный) ключ другой либо той же таблицы. Механизм обеспечения ссылочной целостности.

Естественный (бизнес-) ключ — ключ из реальных данных предметной области: email, ИНН, VIN, номер счёта. Понятен бизнесу, но может меняться и быть широким, что усложняет JOIN.

Суррогатный ключ — искусственный, лишённый бизнес-смысла идентификатор, генерируемый системой (integer, UUID, hash). Стабилен и узок, поэтому изолирует модель от изменений в источнике и ускоряет JOIN.

Составной ключ — ключ из двух и более атрибутов; уникальность обеспечивается их комбинацией. Типичен для junction-таблиц связи M:N.

Альтернативный ключ — candidate key, не выбранный в качестве первичного. Обычно поддерживается UNIQUE-ограничением.

Устойчивый (supernatural) ключ — стабильный идентификатор сущности, переживающий SCD2-изменения. В SCD2 surrogate key меняется на каждую версию строки, а durable key остаётся одним на сущность.

Функциональная зависимость X -> Y — значение набора атрибутов X однозначно определяет значение Y. Основной инструмент анализа при нормализации; из FD выводятся ключи и нормальные формы.

Аксиомы Армстронга — полная и корректная система правил вывода функциональных зависимостей: рефлексивность (Y⊆X => X->Y), пополнение (X->Y => XZ->YZ), транзитивность (X->Y, Y->Z => X->Z). На их основе вычисляется замыкание атрибутов.

Замыкание атрибутов X⁺ — множество всех атрибутов, функционально определяемых X по аксиомам Армстронга. Если X⁺ равно всем атрибутам отношения, то X — суперключ. Ключевой алгоритм поиска candidate keys.

Первичный (prime) атрибут — атрибут, входящий хотя бы в один candidate key. Атрибут, не входящий ни в один candidate key, называется non-prime. Различие критично для определения 2NF и 3NF.

Первая нормальная форма — все значения атомарны: нет повторяющихся групп, списков, массивов в одной ячейке; у отношения есть первичный ключ. Базовая предпосылка реляционной модели.

Вторая нормальная форма — отношение в 1NF и нет partial dependencies: каждый non-prime атрибут зависит от всего составного ключа, а не от его части. Имеет смысл проверять только при составном ключе.

Третья нормальная форма — отношение в 2NF и нет transitive dependencies: non-prime атрибуты не зависят от других non-prime. Эквивалент: для каждой нетривиальной FD X->A либо X — суперключ, либо A — prime атрибут.

Нормальная форма Бойса-Кодда — для каждой нетривиальной FD X->Y левая часть X является суперключом. Строже 3NF (3NF допускает X->A при A prime, BCNF — нет). Декомпозиция в BCNF всегда lossless, но может не сохранять зависимости.

Четвёртая нормальная форма — отношение в BCNF и нет нетривиальных многозначных зависимостей (MVD). Устраняет проблему хранения двух независимых many-valued фактов в одной таблице.

Пятая нормальная форма (PJ/NF, project-join) — отношение в 4NF и каждая нетривиальная join dependency подразумевается candidate keys. Таблицу нельзя без потерь разбить на меньшие проекции иначе как по суперключу.

Многозначная зависимость X ↠ Y — множество значений Y зависит только от X и не зависит от остальных атрибутов. Возникает, когда в одной таблице соседствуют два независимых многозначных факта; устраняется в 4NF.

Нормализация — процесс разбиения отношений на меньшие так, чтобы устранить избыточность и аномалии вставки/обновления/удаления, последовательно достигая 1NF, 2NF, 3NF, BCNF и выше. Стандарт для OLTP-схем.

Денормализация — сознательное добавление избыточности (дублированные атрибуты, предвычисленные агрегаты) ради скорости чтения. Норма для аналитических (OLAP) моделей; цена — аномалии и стоимость поддержки согласованности.

Аномалия вставки — невозможность добавить один факт без наличия другого, не связанного с ним. Пример: в плоской таблице нельзя завести новый курс, пока на него не записан хотя бы один студент.

Аномалия обновления — из-за дублирования одно значение хранится во многих строках, и при изменении нужно обновить все; пропуск части строк ведёт к рассинхрону данных. Прямой аргумент в пользу нормализации.

Аномалия удаления — удаление строки непреднамеренно теряет другой, не связанный с ней факт. Пример: удалив последнего сотрудника отдела, теряем сам факт существования отдела.

Декомпозиция без потерь — разбиение отношения на проекции такое, что их естественное соединение (join) даёт ровно исходное отношение, без лишних строк. Обязательное свойство корректной нормализации.

Сохранение зависимостей — свойство декомпозиции, при котором все исходные функциональные зависимости выводимы из FD получившихся проекций. 3NF всегда достижима с сохранением зависимостей, BCNF — не всегда.

Ссылочная целостность — гарантия, что значение внешнего ключа всегда ссылается на существующую строку родительской таблицы (либо равно NULL). Поддерживается FK-ограничениями и действиями ON DELETE/ON UPDATE.

CHECK-ограничение — декларативное правило, требующее, чтобы значения строки удовлетворяли булеву предикату (например, price >= 0). Способ перенести часть бизнес-инвариантов в саму модель данных.

Online Transaction Processing — класс систем с множеством коротких read/write-транзакций, высокой конкурентностью и write-heavy нагрузкой. Оптимизируется под целостность и низкую латентность; обычно нормализованная схема.

Online Analytical Processing — класс систем для аналитики: меньше запросов, но тяжёлых (сканы, агрегации), read-heavy. Оптимизируется под пропускную способность чтения; обычно денормализованные/размерные схемы.

Строковое хранение — данные строки лежат на диске подряд. Хорошо для OLTP: чтение или запись всей строки — один I/O. Плохо для аналитики: скан по двум столбцам всё равно тянет с диска всю строку.

Колоночное хранение — значения одного столбца лежат подряд. Хорошо для OLAP: скан читает только нужные столбцы и отлично сжимает однотипные значения (RLE, dictionary, delta). Точечный апдейт строки — дорог.

Extract-Transform-Load — классический подход: данные извлекаются, трансформируются на отдельном compute-слое и только потом грузятся в хранилище. Уступил место ELT с удешевлением warehouse-вычислений.

Extract-Load-Transform — современный подход: сырые данные сначала грузятся в warehouse, трансформации выполняются уже внутри него средствами SQL. Дешёвое хранилище плюс мощный warehouse сделали возможным слоистое моделирование.

Хранилище данных (DWH) — централизованная аналитическая система, интегрирующая данные из многих источников для отчётности и анализа. Предметно-ориентированное, интегрированное, неизменяемое, хранящее историю.

Витрина данных (data mart) — подмножество хранилища, ориентированное на конкретную предметную область или отдел (продажи, маркетинг). Может строиться как часть DWH или как самостоятельная единица.

Озеро данных — хранилище сырых данных в исходном формате (файлы, JSON, Parquet) без предварительной схемы; схема применяется при чтении (schema-on-read). Дёшево и гибко, но без дисциплины превращается в «болото».

Lakehouse — архитектура, объединяющая дешёвое объектное хранилище data lake с управляемостью и транзакционностью data warehouse (через табличные форматы Delta Lake, Iceberg, Hudi). Один слой и для сырья, и для аналитики.

Звёздная схема — каноничная размерная модель: центральная fact-таблица и окружающие денормализованные dimension-таблицы. Каждая dimension присоединяется к fact одним JOIN; форма графа напоминает звезду.

Схема «снежинка» — вариант звёздной схемы, в которой dimension-таблицы нормализованы и разбиты на связанные подтаблицы. Экономит место, но добавляет JOIN; Kimball в общем случае не рекомендует.

Размерное моделирование — методология проектирования аналитических схем (Ralph Kimball): данные делятся на факты (измеримые события) и измерения (контекст). Цель — простота запросов и понятность для аналитика.

Таблица фактов — центральная таблица размерной модели; хранит внешние ключи к dimensions и числовые measures. Обычно длинная и узкая: миллиарды строк, мало столбцов.

Таблица измерений — таблица с описательными атрибутами, дающими контекст фактам: кто, что, где, когда. Намеренно денормализована, обычно широкая и относительно небольшая по числу строк.

Зерно (grain) — что представляет собой одна строка fact-таблицы. Объявление grain — первое и важнейшее решение размерного дизайна; все строки таблицы обязаны быть одного зерна. Рекомендуется атомарный (самый низкий) grain.

Мера (measure) — числовой показатель в fact-таблице, который агрегируют: сумма продажи, количество, длительность. Классифицируется по аддитивности на additive, semi-additive и non-additive.

Аддитивная мера — мера, которую можно суммировать по всем измерениям, включая время (например, сумма продаж). Самый удобный тип меры для агрегаций.

Полуаддитивная мера — мера, суммируемая по части измерений, но не по времени: остаток на счёте, уровень запасов. Складывать остатки за разные дни бессмысленно; по времени применяют среднее или последнее значение.

Неаддитивная мера — мера, которую нельзя суммировать вообще: коэффициенты, проценты, цена за единицу. Агрегируют компоненты по отдельности, а отношение пересчитывают заново.

Транзакционная таблица фактов — строка на каждое событие-измерение в точке пространства и времени. Самый гибкий тип; таблица разрежена (строка появляется только когда событие произошло).

Таблица фактов периодического снимка — строка на сущность за регулярный интервал (баланс счёта на конец каждого дня). Плотная и предсказуемая по размеру; зерно — период.

Таблица фактов накапливающего снимка — строка на экземпляр процесса с несколькими вехами (заказ -> отгрузка -> доставка); строка обновляется по мере прохождения вех. Содержит несколько date-ключей и меры длительности/лага.

Безфактовая таблица фактов — fact-таблица без числовых мер; фиксирует сам факт события (студент посетил занятие) или покрытие (какие товары участвовали в промоакции). Запросы к ней — это подсчёт строк.

Вырожденное измерение — атрибут измеренческой природы (обычно номер заказа или транзакции), хранимый прямо в fact-таблице без отдельной dimension-таблицы, так как других атрибутов у него нет.

Согласованное измерение — dimension с идентичным смыслом и содержимым, переиспользуемая несколькими fact-таблицами. Основа интеграции хранилища и операций drill-across между бизнес-процессами.

Измерение с ролями — одна физическая dimension, используемая в схеме многократно в разных ролях: date как order_date, ship_date, delivery_date. Реализуется через views или алиасы таблицы.

«Мусорное» измерение — одна dimension, схлопывающая несколько флагов и индикаторов низкой кардинальности, чтобы не плодить отдельные внешние ключи в fact-таблице.

Мост (bridge table) — таблица, реализующая связь many-to-many между fact и dimension либо иерархию переменной глубины. Может содержать весовой коэффициент (allocation factor) для корректного распределения мер.

Шинная матрица (bus matrix) — таблица планирования enterprise DWH по Kimball: строки — бизнес-процессы (fact-таблицы), столбцы — conformed dimensions, на пересечении — отметка использования. Дорожная карта размерной модели.

Медленно меняющееся измерение (SCD) — dimension, описательные атрибуты которой изменяются во времени (клиент сменил город). SCD-типы (0-7) — это разные стратегии хранения или потери истории таких изменений.

SCD Type 1 (overwrite) — старое значение атрибута перезаписывается новым; история не сохраняется, одна строка на сущность. Просто, но исторические агрегаты задним числом меняются.

SCD Type 2 (add row) — на каждое изменение вставляется новая строка с новым surrogate key; добавляются effective/end date и current flag (либо номер версии). Полная история; fact-строки навсегда связаны с действовавшей версией.

SCD Type 3 (add column) — рядом с «текущим значением» хранится столбец «предыдущее/исходное значение». Хранит ровно одно прошлое значение; промежуточные изменения теряются. Для редких заранее известных изменений.

Data Vault — методология моделирования DWH (Dan Linstedt), располагающаяся между источниками и витринами. Раздельные hub/link/satellite ориентированы на аудируемость, гибкость и параллельную загрузку из многих источников.

Hub — таблица Data Vault, хранящая уникальные business keys одной сущности. Столбцы: hash key (PK), бизнес-ключ(и), load date, record source. Описательных атрибутов в hub нет.

Link — таблица Data Vault, хранящая связь или транзакцию между бизнес-ключами (всегда трактуется как many-to-many). Столбцы: собственный hash key, hash keys связываемых hubs, load date, record source. Без описательных атрибутов.

Satellite — таблица Data Vault, хранящая описательные атрибуты и их историю для hub или link. Столбцы: hash key родителя, load date (часть PK), record source, hashdiff, описательные атрибуты. История — новые строки.

Hashdiff — хеш конкатенации всех описательных атрибутов satellite-строки. Используется для обнаружения изменений: если hashdiff входящей строки совпадает с последней в satellite, изменений нет и строка не вставляется.

PIT-таблица (point-in-time) — структура business vault, предвычисляющая темпоральный JOIN нескольких satellites одного hub: для каждой даты хранит, какая версия каждого satellite актуальна. Ускоряет исторические запросы.

Подход Inmon (Corporate Information Factory) — top-down методология DWH: сначала строится единое нормализованное (3NF) enterprise-ядро как единый источник истины, затем из него — размерные витрины. Дольше до результата, выше консистентность.

Подход Kimball — bottom-up методология DWH: сначала размерные data marts под конкретные бизнес-процессы, интегрируемые через conformed dimensions и шинную архитектуру в enterprise DWH. Быстрее до первого результата.

Медальонная архитектура (Databricks) — организация lakehouse в три слоя зрелости: bronze (сырьё as-is), silver (очищенные, conformed, интегрированные данные), gold (бизнес-готовые денормализованные витрины). Внутри каждого слоя — своя модель.

One Big Table (OBT) — единая широкая денормализованная таблица: все факты и атрибуты измерений вместе, без JOIN на чтении. На колоночных warehouse даёт ускорение запросов; минусы — избыточность и сложности с историчностью атрибутов.

Семантический слой (metrics layer) — слой, где бизнес-метрики (выручка, отток) определяются один раз и переиспользуются всеми BI-инструментами и AI-агентами. Гарантирует, что одна метрика даёт одинаковое число везде.

Документная модель (MongoDB) — данные хранятся как самодостаточные JSON/BSON-документы. Ключевое решение — embedding (вложить связанные данные) против referencing (ссылаться). Денормализация и дублирование здесь — норма.

Модель «ключ-значение» (Redis, DynamoDB) — данные доступны только по ключу. Моделирование сводится к проектированию структуры ключа и значения под конкретные шаблоны доступа; произвольных запросов нет.

Широко-колоночная модель (Cassandra, ScyllaDB) — query-first моделирование: схема проектируется от запросов, а не от связей. JOIN нет; все данные запроса лежат в одной таблице, нередко с дублированием по нескольким таблицам.

Графовая модель — данные как узлы и рёбра. Property graph (Neo4j): у узлов и рёбер есть label и key-value свойства, запросы на Cypher. RDF triple store: данные как тройки subject-predicate-object, запросы на SPARQL.

Ключ партиционирования — в wide-column СУБД определяет, на каком узле физически лежат данные: значение хешируется в token и равномерно распределяет строки по кластеру. Все строки с одним partition key — на одном узле.

Ключ кластеризации — в wide-column СУБД задаёт порядок сортировки строк внутри одной партиции. Позволяет эффективные range-запросы по отсортированному атрибуту без сканирования всей партиции.

Теорема CAP — при сетевом разделении (Partition) распределённая система вынуждена выбирать между согласованностью (Consistency) и доступностью (Availability); все три свойства одновременно недостижимы. Влияет на выбор хранилища и модели.

Идентифицирующая связь — связь, при которой внешний ключ родителя входит в состав первичного ключа ребёнка; ребёнок не может существовать без родителя. Типична для weak entity.

Неидентифицирующая связь — связь, при которой внешний ключ не входит в первичный ключ ребёнка; ребёнок существует независимо. Самый распространённый тип связи 1:N.

Связующая таблица (junction / associative / link) — таблица с двумя внешними ключами, реализующая связь M:N, которую реляционная модель не поддерживает напрямую. Может нести и собственные атрибуты связи.

Рекурсивная (само-ссылающаяся) связь — связь сущности с самой собой: сотрудник ссылается на сотрудника-руководителя. Реализуется внешним ключом на первичный ключ той же таблицы; моделирует иерархии.

Измерение дат — отдельная денормализованная dimension со строкой на каждый день и атрибутами: день недели, месяц, квартал, год, флаги выходного и праздника, фискальные периоды. Заполняется заранее; ключ часто «умный» integer YYYYMMDD.

Мини-измерение — группа быстро меняющихся атрибутов, вынесенная из большой dimension в отдельную маленькую dimension с собственным surrogate key. Применяется в SCD Type 4 и Type 5, чтобы не раздувать SCD2-историю.

Аутригер (outrigger dimension) — dimension, на которую ссылается другая dimension (например, date-dimension внутри dimension сотрудника). Допустимая, но ограниченно применяемая нормализация измерения.

Snowflake ID — 64-битный составной суррогатный ключ (timestamp + идентификатор машины/шарда + последовательность). Монотонно растёт, генерируется распределённо без центрального координатора; дружелюбен к B-tree индексам.

Raw vault — слой Data Vault, хранящий данные источников с минимальными трансформациями и полной аудируемой историей; бизнес-правила здесь не применяются. Source-driven часть модели.

Business vault — слой Data Vault поверх raw vault, где применяются бизнес-правила и располагаются вспомогательные структуры (PIT- и bridge-таблицы). Подготавливает данные к построению витрин.