MessagePack Format

Что такое MessagePack

MessagePack — бинарный формат сериализации, позиционируемый как «JSON, но быстрее и компактнее». Schemaless — не требует предварительного определения схемы (в отличие от Protobuf и Thrift). Формат самоописывающий: первый байт каждого значения определяет его тип.

Поддержка языков — одна из самых широких: официальные библиотеки для 50+ языков (Python msgpack 1.1.2, Go, Rust, Java, C++, JavaScript, Ruby, PHP, C#, Swift, и др.).

MessagePack vs JSON

JSON (text)

MessagePack (binary)

NOTE

MessagePack — не замена Protobuf или Thrift. Это замена JSON для сценариев, где schema management не нужен, но JSON слишком медленный или объёмный: Redis serialization, WebSocket payloads, game state, IPC между процессами, кэширование.

Определение типа по первому байту

Ключевая идея MessagePack: первый байт каждого значения определяет его тип и (иногда) содержит само значение:

First Byte → Type Determination

Диапазон

Тип

Формат

Описание

0x00–0x7F

0x80–0x8F

0x90–0x9F

0xA0–0xBF

0xC0

0xE0–0xFF

Format Families

MessagePack организует типы в families — каждая family покрывает диапазон размеров одного логического типа:

Integer Format Family

Integer: выбор формата по значению

positive fixint (1B)

uint 8 (2B)

uint 16 (3B)

uint 32 (5B)

uint 64 (9B)

negative fixint (1B)

int 8 (2B)

int 16/32/64

String Format Family

fixstr (1B + data)

str 8 (2B + data)

str 16 (3B + data)

str 32 (5B + data)

Полный пример кодирования

MessagePack: кодирование id=150, name=Al

{"id": 150, "name": "Al"}

Map header

Пара 1: 'id' → 150

Пара 2: 'name' → 'Al'

Wire: 82 A2 69 64 CC 96 A4 6E 61 6D 65 A2 41 6C (14 байт)

TIP

Protobuf кодирует User(id=150, name="Al") в 7 байт. MessagePack — в 14 байт. Разница — ключи: MessagePack хранит имена полей (“id”, “name”) на wire, Protobuf — только field numbers. Schema-based форматы всегда компактнее schemaless при одинаковых данных.

Bool, Float, Binary

Остальные примитивные типы

Boolean

Float

Binary (bin)

nil

Extension Types

MessagePack поддерживает пользовательские типы через extension types — type code (int8) + raw data:

Extension Type Format

Extension: type code (int8) + data bytes

fixext 1 (3B total)

fixext 2 (4B total)

fixext 4 (6B total)

fixext 8 (10B total)

fixext 16 (18B total)

ext 8/16/32

Timestamp Extension Type

Единственный spec-defined extension type — Timestamp (type code -1):

Timestamp Extension (type -1)

Формат

Размер

Диапазон

Timestamp 32

Timestamp 64

Timestamp 96

WARNING

Timestamp 64 упаковывает наносекунды и секунды в одно 64-битное значение: (nanosec << 34) | seconds. Старшие 30 бит — наносекунды (0–999999999), младшие 34 бита — секунды. Это хитрая оптимизация: если наносекунды = 0, всё значение = seconds (timestamp 32 поведение в timestamp 64 формате).

MessagePack vs JSON: когда выбирать

MessagePack vs JSON Decision

Нужна human readability?

Да → JSON

Нет → MessagePack

MessagePack: сильные и слабые стороны

Сильные стороны

Слабые стороны