ORC 在数据湖中的角色：与 Hive Metastore、Iceberg、Hudi 的深度协同

0. 问题引入：从大促用户行为分析平台的演进说起

用户原始问题：“在数据湖架构中，ORC 通常与哪些表格式（Hive Metastore, Iceberg, Hudi）配合使用？”

在构建电商平台的大促用户行为分析平台时，我们的数据架构经历了三次重大演进：

• V1 (2020): 原始日志直接写入 HDFS，通过 **Hive Metastore **(HMS) 管理分区，查询引擎为 Presto。文件格式是ORC。
• V2 (2022): 引入Apache Hudi，以支持分钟级的数据更新和高效的增量拉取，用于实时推荐场景。基础文件格式依然是ORC。
• V3 (2024): 为了解决跨团队共享、Schema 演进和时间旅行查询的需求，我们开始试点Apache Iceberg。新表的文件格式也选择了ORC。

贯穿这三次演进，ORC 作为底层的物理存储格式始终未变。这引发了一个深刻的思考：为什么 OR