本站点使用Cookies,继续浏览表示您同意我们使用Cookies。Cookies和隐私政策>

搜索

DPC 如何实现海量数据并行访问?

2021-08-27
3291
1

随着信息化的飞速发展,人类对信息处理能力的要求越来越高,海量的数据需要高效的计算与存储,HPC高性能计算应运而生。

在AI和大数据时代,存储影响算力的发挥、承载最为关键的数据,不夸张的说,HPC这辆方程式赛车跑的快不快,稳不稳,存储是赢得比赛的关键一环,因此对它提出的要求也不断提高:

1、 传统业务的创新和新兴业务的崛起,给HPC带来了源源不断的数据,需要更高扩展性、更低TCO的存储;

2、 GPU、FPGA等算力的崛起,进入了多样性算力时代,同时也给存储带来了更为复杂的负载;

3、 HPC与大数据、AI技术的结合大势所趋,HPDA(High Performance Data Analysis)应用高速增长,需要更高效的数据流转与分析。

问题都看到了,那么如何来解决呢?

华为OceanStor Pacific下一代HPDA/AI存储,
以非凡存力,释放数据潜力。

本期为您揭秘,HPC性能加速利器——
DPC分布式并行客户端


要点一

DPC分布式并行客户端是什么?

DPC(Distributed Parallel Client)分布式并行客户端,它作为存储客户端运行在计算节点上,可同时连接多个存储节点,对上层应用提供标准POSIX和MPI-IO接口,以获得更好的兼容性和更优的性能。

要点二

DPC并行客户端相比NFS标准协议的优势?

优势1:DPC并行客户端支持支持MPI-IO,更好适配HPC生态

HPC场景中,多进程读写一个文件的典型IO模式下,需要多线程相互配合,避免读写冲突,MPI就是在这种背景下产生的一种交换消息的标准化方法。NFS是不支持MPI的,DPC通过支持MPI-IO,可大幅提升该模式的IO性能。

优势2:DPC并行客户端单客户端可连接多存储节点,单客户端、单流性能更高

NFS标准协议一个客户端仅能连接一个存储节点,客户端性能受限于存储节点配置;DPC可实现一个客户端以RDMA方式连接多个存储节点,消除存储瓶颈,同时提升单客户端性能和单流性能。

优势3:DPC并行客户端的IO路径更短,客户端直接打散数据

NFS协议数据写入时,数据需要先写入一个存储节点,该节点再把数据打散到其他存储节点,需要两次IO写入;DPC可将数据在客户端打散后直接写入不同的存储节点,减少一次IO转发,获得更低的读写延迟。

优势4:DPC并行客户端负载均衡能力更优,IO级负载均衡

NFS标准协议的负载均衡均发生在客户端挂载时,个别客户端业务突发会导致存储节点出现瓶颈,进而影响整系统性能;DPC客户端可同时连接多存储节点实现IO级负载均衡,保障存储节点的负载时刻保持均衡。

基于DPC并行客户端的系列能力,

华为OceanStor Pacific存储就能够更好的适配HPC场景的不同需求,

实现HPC全场景加速!

免责声明:文章内容和观点仅代表作者本人观点,供读者思想碰撞与技术交流参考,不作为华为公司产品与技术的官方依据。如需了解华为公司产品与技术详情,请访问产品与技术介绍页面或咨询华为公司人员。

TOP