本站点使用Cookies,继续浏览表示您同意我们使用Cookies。Cookies和隐私政策>

搜索

协议互通,打通HPC多样性数据处理任督二脉

2021年07月06日

HPC向“数据密集型”发展,多样性的数据处理成为新常态,海量的数据流动,也越来越困难。在整个的数据处理过程中,多样性的数据转化、拷贝、加载等,占据了35%以上的时间。因此,突破数据处理过程中数据的格式壁垒,实现数据0拷贝就地处理,就犹如打通多样性数据处理的任督二脉一般,将大幅提升HPC数据处理效率。

任督二脉通,则八脉通八脉通,则百脉通,让我们跟随“武林高手”一起来打通HPC多样性数据处理的任督二脉

为什么需要协议互通?

▶ 多样性数据处理成为新常态:云、大数据、AI技术正在重构传统的数据处理流程,一次数据分析会涉及文件、对象、大数据等多种格式数据;

▶ 海量数据流动越来越困难:一次数据处理涉及PB级的数据量,数据拷贝、加载等流动时间占比达35%以上。

什么是协议互通?

▶ 一种资源模型:一个硬件资源池+一个逻辑资源池,文件、对象、大数据使用同一种资源模型;

▶ 一种数据模型:一个逻辑资源池可以同时保存文件、对象、大数据格式的数据;

▶ 一套锁机制:文件、对象、大数据客户端可以同时读写同一个文件,不需要协议转换。

协议互通有什么价值?

▶ 简化数据管理:只需要划分一个统一的命名空间,简化存储的规划、配置、运维;

▶ 加速数据流动:多样性数据就地分析,免数据拷贝,数据分析效率提升30%以上;

▶ 节省存储资源:共用硬件资源池,提升存储资源利用率,同时,避免数据拷贝产生的冗余副本,端到端节省存储资源。

华为的协议互通有什么特点?

▶ 易使用:不需要使用网关,维护简单;

▶ 语义无损:统一的元数据和数据架构,文件、对象、大数据均提供原生的语义,无语法上的缺失和限制;

▶ 性能无损:和单一协议完全一样的数据访问路径,每种协议都能发挥硬件资源的极限性能;

▶ 丰富的增值特性:统一的快照、远程复制、配额、QoS、元数据检索等,提供比单协议更丰富的特性。

多样性数据处理,已经成为了全球HPC发展过程中不得不面对的难题。而华为多协议互通的实现,无异于打通了HPC多样性数据处理的任督二脉。也因此,让华为OceanStor Pacific系列存储得到了国内外的广泛认可。

在刚刚过去的日本年度最大规模ICT展会——2021日本Interop (Interop Tokyo 2021)上,华为OceanStor Pacific系列存储因支持多协议无损互通,满足大数据、高性能计算等场景的核心诉求,获得“服务器和存储”类别金奖。

点击了解获奖详情

TOP