协议互通：打通 HPC 多样性数据处理任督二脉

章鹏

华为海量存储领域架构师

HPC向“数据密集型”发展，多样性的数据处理成为新常态，海量的数据流动，也越来越困难。在整个的数据处理过程中，多样性的数据转化、拷贝、加载等，占据 了35%以上的时间。

因此，突破数据处理过程中数据的格式壁垒，实现数据0拷贝就地处理，就犹如打通多样性数据处理的任督二脉一般，将大幅提升HPC数据处理效率。

任督二脉通，则八脉通八脉通，则百脉通。让我们跟 随“武林高手”一起来打通HPC多样性数据处理的任督二脉。

为什么需要协议互通？

• 多样性数据处理成为新常态：云、大数据、AI技术正在重构传统的数据处理流程， 一次数据分析会涉及文件、对象、大数据等多种格式数据。

• 海量数据流动越来越困难：一次数据处理涉及PB级的数据量，数据拷贝、加载等流动时间占比达35%以上。

什么是协议互通？

• 一种资源模型：一个硬件资源池 + 一个逻辑资源池，文件、对象、大 数据使用同一种资源模型。

• 一种数据模型：一个逻辑资源池可以同时保存文件、对象、大数据格式的数据。

• 一套锁机制：文件、对象、大数据客户端可以同时读写同一个文件， 不需要协议转换。

传统协议互通方案

协议互通有什么价值？

简化数据管理

只需要划分一个统一的命名空间，简化存储的规划、配置、运维。

加速数据流动

多样性数据就地分析，免数据拷贝，数据分析效率提升30%以上。

节省存储资源

共用硬件资源池，提升存储资源利用率，同时，避免数据拷贝产生的冗余副本，端到端节省存储资源。

华为的协议互通有什么特点？

• 易使用：不需要使用网关，维护简单。

• 语义无损：统一的元数据和数据架构，文件、对象、大数据均提 供原生的语义，无语法上的缺失和限制。

• 性能无损：和单一协议完全一样的数据访问路径，每种协议都能 发挥硬件资源的极限性能。

• 丰富的增值特性：统一的快照、远程复制、配额、QoS、元数据检索等， 提供比单协议更丰富的特性。

华为多协议互通方案

免责声明：文章内容和观点仅代表作者本人观点，供读者思想碰撞与技术交流参考，不作为华为公司产品与技术的官方依据。如需了解华为公司产品与技术详情，请访问产品与技术介绍页面或咨询华为公司人员。