本站点使用Cookies,继续浏览表示您同意我们使用Cookies。Cookies和隐私政策>

搜索

协议互通:打通 HPC 多样性数据处理任督二脉

2021-09-27
1070
0

HPC向“数据密集型”发展,多样性的数据处理成为新常态,海量的数据流动,也越来越困难。在整个的数据处理过程中,多样性的数据转化、拷贝、加载等,占据 了35%以上的时间。

因此,突破数据处理过程中数据的格式壁垒,实现数据0拷贝就地处理,就犹如打通多样性数据处理的任督二脉一般,将大幅提升HPC数据处理效率。

任督二脉通,则八脉通八脉通,则百脉通。让我们跟 随“武林高手”一起来打通HPC多样性数据处理的任督二脉。

为什么需要协议互通?

• 多样性数据处理成为新常态:云、大数据、AI技术正在重构传统的数据处理流程, 一次数据分析会涉及文件、对象、大数据等多种格式数据。

• 海量数据流动越来越困难:一次数据处理涉及PB级的数据量,数据拷贝、加载等流动时间占比达35%以上。

什么是协议互通?

• 一种资源模型:一个硬件资源池 + 一个逻辑资源池,文件、对象、大 数据使用同一种资源模型。

• 一种数据模型:一个逻辑资源池可以同时保存文件、对象、大数据格式的数据。

• 一套锁机制:文件、对象、大数据客户端可以同时读写同一个文件, 不需要协议转换。

传统协议互通方案

协议互通有什么价值?

简化数据管理

只需要划分一个统一的命名空间,简化存储的规划、配置、运维。

加速数据流动

多样性数据就地分析,免数据拷贝,数据分析效率提升30%以上。

节省存储资源

共用硬件资源池,提升存储资源利用率,同时,避免数据拷贝产生的冗余副本,端到端节省存储资源。

华为的协议互通有什么特点?

• 易使用:不需要使用网关,维护简单。

• 语义无损:统一的元数据和数据架构,文件、对象、大数据均提 供原生的语义,无语法上的缺失和限制。

• 性能无损:和单一协议完全一样的数据访问路径,每种协议都能 发挥硬件资源的极限性能。

• 丰富的增值特性:统一的快照、远程复制、配额、QoS、元数据检索等, 提供比单协议更丰富的特性。

华为多协议互通方案

免责声明:文章内容和观点仅代表作者本人观点,供读者思想碰撞与技术交流参考,不作为华为公司产品与技术的官方依据。如需了解华为公司产品与技术详情,请访问产品与技术介绍页面或咨询华为公司人员。

TOP