Ecosystem + Interoperability

В предыдущих уроках мы разобрали внутренности Paimon: LSM-деревья, merge engine’ы, changelog producer, bucket/partition design и data management. Теперь — как Paimon интегрируется с экосистемой обработки данных и как сравнивается с другими lakehouse-форматами.

Flink: Primary Engine

Apache Paimon изначально создавался как Flink Table Store (2022), и Flink остаётся primary engine. Это значит: максимальная интеграция, все features доступны first-class, streaming read/write — нативные операции.

Spark Connector

Spark — второй по важности engine после Flink. Paimon Spark connector обеспечивает batch и streaming read/write.

# PySpark + Paimon
spark = SparkSession.builder \
 .config("spark.sql.catalog.paimon", "org.apache.paimon.spark.SparkCatalog") \
 .config("spark.sql.catalog.paimon.warehouse", "s3://bucket/warehouse") \
 .getOrCreate()

# Batch read
df = spark.sql("SELECT * FROM paimon.db.orders WHERE dt = '2025-03-27'")

# Time travel
df_hist = spark.sql("""
 SELECT * FROM paimon.db.orders 
 VERSION AS OF 720
""")

OLAP-движки: StarRocks, Trino, Presto, Doris

Paimon интегрируется с популярными OLAP-движками для аналитических запросов поверх lake-данных.

Iceberg Compatibility Layer

Одна из уникальных возможностей Paimon — автоматическая генерация Iceberg metadata. Paimon-таблица продолжает работать как Paimon (LSM-дерево, merge engine, changelog), но одновременно экспортирует snapshot’ы в формате Iceberg.

-- Включить Iceberg compatibility layer
ALTER TABLE orders SET (
 'metadata.iceberg.storage' = 'hadoop-catalog',
 'metadata.iceberg.uri' = '' -- опционально: REST catalog URI
);
-- Каждый Paimon commit теперь генерирует Iceberg metadata
-- Trino: SELECT * FROM iceberg.db.orders -- та же таблица!

PyPaimon: Pure Python SDK

Начиная с Paimon 1.3 (ноябрь 2025), pypaimon переписан на чистый Python — без JVM-зависимости. Старый SDK (pre-1.3) использовал Py4J bridge к Java, что требовало JVM и было медленным.

from pypaimon import CatalogFactory

# Создать catalog (filesystem)
catalog = CatalogFactory.create({
 'warehouse': 's3://bucket/warehouse'
})

# Получить таблицу
table = catalog.get_table('db.orders')

# Прочитать данные
read_builder = table.new_read_builder()
scan = read_builder.new_scan()
splits = scan.plan().splits()
reader = read_builder.new_read()

for split in splits:
 arrow_table = reader.read(split)
 print(arrow_table.to_pandas())

# Записать данные
import pyarrow as pa
write_builder = table.new_write_builder()
writer = write_builder.new_write()
committer = write_builder.new_commit()

batch = pa.RecordBatch.from_pydict({
 'order_id': [1, 2, 3],
 'amount': [99.5, 150.0, 75.0],
 'dt': ['2025-03-27', '2025-03-27', '2025-03-27']
})
writer.write(batch)
committer.commit(writer.prepare_commit())

REST Catalog

Paimon разрабатывает REST catalog — HTTP API для управления metadata, аналогичный Iceberg REST Catalog. По состоянию на 1.3:

Сравнение с Hudi, Delta Lake и Iceberg

Когда выбирать Paimon?

Подводим итоги

Apache Paimon занимает уникальную нишу в lakehouse-экосистеме: streaming-first формат с LSM-деревом в основе. Его сильные стороны:

1. Flink integration — нативный streaming read/write, changelog, lookup join, managed compaction. Если Flink — ваш primary engine, Paimon — естественный выбор.

2. Changelog producer — уникальная feature: генерация CDC-потока из lake-таблицы. Три режима (input, lookup, full-compaction) покрывают спектр от zero-overhead до guaranteed-complete.

3. Merge engine’ы — deduplicate, partial-update, aggregate, first-row. Обработка upsert на уровне storage, не engine.

4. Iceberg compatibility — metadata export позволяет читать Paimon-таблицы через любой Iceberg-compatible движок. Прагматичное решение проблемы engine support.

5. PyPaimon — чистый Python SDK (1.3+) для read/write без JVM. Наравне с deltalake и pyiceberg.

Ограничения:

• Engine support уже, чем у Iceberg/Delta — primary engine = Flink
• REST Catalog — в разработке (Iceberg REST Catalog — production-grade)
• Community меньше (21 committer), чем у Delta (Databricks) или Iceberg (Tabular/Snowflake + community)
• Ecosystem integrations (Trino, Presto, DuckDB) менее зрелые — Iceberg compat layer компенсирует

В экосистеме lakehouse-форматов нет «лучшего» выбора — есть выбор, оптимальный для конкретного workload. Четыре формата (Delta Lake, Iceberg, Hudi, Paimon) конкурируют и одновременно конвергируют: Delta добавляет Iceberg compat (UniForm), Hudi — XTable, Paimon — Iceberg metadata export. Будущее — interoperability, а не winner-takes-all.