Apache Paimon：湖仓一体中的可变数据与实时更新

Brief

Apache Paimon 是一个开源的数据湖格式，旨在支持湖仓架构。它与 Flink 和 Spark 等处理引擎无缝集成，同时支持流式与批处理。Paimon 的架构优势在于将标准数据湖格式与 LSM（日志结构合并树）相结合。 这种组合解决了数据湖在高性能更新和低延迟读取方面的传统难题。Paimon 支持主键表以实现高吞吐的实时更新，并提供可定制的合并引擎，用于去重、部分更新和聚合。该设计使得在湖中直接进行高效的流式数据摄入和可变状态管理成为可能。 Paimon 还提供成熟的数据湖能力，如可扩展的元数据、ACID 事务、时光回溯、模式演进，以及通过压缩与 Z-ordering 优化的数据布局。对于需要统一存储层，既要高效处理大规模追加写数据，又要应对复杂的实时流式更新的项目， 我们建议评估 Paimon。

来源：技术雷达

Details

背景与现状

• 常见湖仓更多面向追加写与批量分析，对高频 upsert/去重/部分更新支持薄弱。
• 业务流式化、CDC 普及，使“实时更新 + 低延迟读”的统一存储成为刚需。
• Paimon以“数据湖格式 + LSM”应对可变数据与流批一体的工程化落地。

问题与风险

• 传统湖以列式文件为主，更新常需重写大文件，延迟与成本高。
• 实时摄入带来小文件与元数据膨胀，影响扫描与规划。
• Upsert 语义与去重规则易引入一致性歧义；主键设计与倾斜风险并存。

模式与原理（核心抽象）

LSM 融合的数据布局

• 将变更先写入增量层，后台合并压实，平衡写入吞吐与读放大。
• 通过压缩、Z-ordering 与分区/排序，减少范围扫描与冷热混读。

主键表与合并引擎

• 主键表支持高吞吐实时更新；可定制的合并逻辑用于去重、部分列更新与聚合。
• 适配 CDC/日志流，直接在湖内管理可变状态，降低外部状态存储复杂度。

湖仓能力完备性

• 提供 ACID、时光回溯、模式演进、可扩展元数据等，满足治理与合规。
• 与 Flink、Spark 集成，覆盖流/批处理路径，利于统一编排。

对比与演进（旧法 vs 新法）

传统湖格式的更新路径

• 以 COW/MOR 思路处理更新，往往在高并发 upsert 下成本上升、读写冲突明显。
• 小文件治理与实时-离线一致性需要额外平台化能力兜底。

Paimon 的演进方向

• 以 LSM 为核心处理可变数据，通常在高频更新、低延迟查询的组合场景更稳态。
• 在纯追加、长批分析主导的负载下，优势不明显，应按负载结构取舍。

系统影响（架构与工程）

架构层面的变化

• 推动“流优先”的数据生产与消费模型，减少多层落地与拷贝。
• 统一存储承载可变与追加两类数据，提升数据血缘与治理一致性。

工程效率与治理

• 合并策略、主键与分区规划前置成设计事项；测试需覆盖时光回溯与模式演进。
• 观测需聚焦写放大、压实积压、热点倾斜与查询尾延迟。

落地建议（边界、路径与注意点）

适用边界

• 适合：CDC 驱动的事实/维表、实时去重与部分更新、需要近实时分析的场景。
• 谨慎：超大规模纯扫描型 BI、极端宽表且更新稀疏的场景，收益可能有限。

前置条件

• 计算引擎以 Flink/Spark 为主，确保 Connector 与 Catalog 版本匹配。
• 存储具备足够的带宽与后台压实资源；完善的指标与告警体系。

试点路径

• 从高变更、强一致性诉求的中等规模表切入（如 CDC 维表）。
• 明确定义主键与合并语义；设置分区/排序与 Z-order 试点策略。
• 建立对照读路径（实时/离线）与数据校验，逐步扩大表与工作负载。

典型风险与防范

• 写/读放大与压实积压：限速与分级压实，监控 backlog 与文件大小分布。
• 主键热点与倾斜：分桶/范围分区与预分区；必要时引入随机盐。
• 语义误配（去重/部分更新）：将业务规则配置化并加审计校验。
• 生态兼容性：验证查询引擎与元数据工具链的读取行为与代价模型。