揭秘omnidata-hive-connector核心原理：算子下推如何减少80%网络传输数据？-拓冰建站

揭秘omnidata-hive-connector核心原理：算子下推如何减少80%网络传输数据？

【免费下载链接】omnidata-hive-connectorBased on the hive, some operators are pushed down to the storage nodes, and those results are transmitted to the calculation nodes through the network, reducing the amount of network transmission data and improving performance.项目地址: https://gitcode.com/openeuler/omnidata-hive-connector

前往项目官网免费下载：https://ar.openeuler.org/ar/

大数据OmniData算子下推特性适用于大量计算节点读取远端节点数据的大数据存算分离场景或大规模融合场景。这类场景下，大量原始数据从存储节点通过网络传输到计算节点进行处理，有效数据占比低，极大浪费网络带宽。omnidata-hive-connector通过创新的算子下推技术，将原本在计算节点执行的关键算子迁移到存储节点处理，从源头减少数据传输量，显著提升系统性能。

什么是算子下推？为什么它如此重要？

在传统的大数据处理流程中，存储节点仅负责数据存储，所有计算任务都在计算节点完成。这意味着即使只需要处理10%的有效数据，也必须将100%的原始数据通过网络传输到计算节点，造成严重的带宽浪费和延迟。

omnidata-hive-connector的核心创新在于算子下推技术——将计算节点的Filter（过滤）、Aggregation（聚合）、Limit（限制）等关键算子直接下推到存储节点执行。这样，存储节点在数据发送前就完成了初步计算，只需要将处理后的结果传输到计算节点，从根本上解决了数据传输量大的问题。

核心实现：存算分离场景的性能突破

三大关键技术特性

多算子协同下推
实现将计算节点的Filter、Aggregation、Limit算子下推到存储节点进行计算，将算子处理完后的结果通过网络传输到计算节点，降低网络传输数据量，提升Hive、Spark和openLooKeng计算性能。
跨平台存储支持
实现将算子下推到Ceph/HDFS存储节点上处理，兼容主流分布式存储系统，无需更换现有存储架构即可享受性能提升。
分层执行架构
Host Runtime为lib库，部署在计算节点（主机节点），对外提供任务卸载的能力，把任务下推到Target Runtime。Target Runtime为lib库，部署在存储节点（卸载节点），提供任务执行的能力，用来执行OmniData Server的作业。OmniData Server提供算子下推（算子卸载）的执行能力，接收Host Runtime下推下来的任务。