HPC性能加速利器——DPC分布式并行客户端

2021年07月05日

随着信息化的飞速发展，人类对信息处理能力的要求越来越高，海量的数据需要高效的计算与存储，HPC高性能计算应运而生。在AI和大数据时代，存储影响算力的发挥、承载最为关键的数据，不夸张的说，HPC这辆方程式赛车跑的快不快，稳不稳，存储是赢得比赛的关键一环，因此对它提出的要求也不断提高：

1、传统业务的创新和新兴业务的崛起，给HPC带来了源源不断的数据，需要更高扩展性、更低TCO的存储；

2、 GPU、FPGA等算力的崛起，进入了多样性算力时代，同时也给存储带来了更为复杂的负载；

3、 HPC与大数据、AI技术的结合大势所趋，HPDA（High Performance Data Analysis）应用高速增长，需要更高效的数据流转与分析。

那么，这些问题该怎么解决呢？

华为OceanStor Pacific下一代HPDA/AI存储，以非凡存力，释放数据潜力。本期为您揭秘，HPC性能加速利器——DPC分布式并行客户端

DPC（Distributed Parallel Client）分布式并行客户端，它作为存储客户端运行在计算节点上，可同时连接多个存储节点，对上层应用提供标准POSIX和MPI-IO接口，以获得更好的兼容性和更优的性能。

优势1：DPC并行客户端支持支持MPI-IO，更好适配HPC生态

HPC场景中，多进程读写一个文件的典型IO模式下，需要多线程相互配合，避免读写冲突，MPI就是在这种背景下产生的一种交换消息的标准化方法。NFS是不支持MPI的，DPC通过支持MPI-IO，可大幅提升该模式的IO性能。

优势2：DPC并行客户端单客户端可连接多存储节点，单客户端、单流性能更高

NFS标准协议一个客户端仅能连接一个存储节点，客户端性能受限于存储节点配置；DPC可实现一个客户端以RDMA方式连接多个存储节点，消除存储瓶颈，同时提升单客户端性能和单流性能。

优势3：DPC并行客户端的IO路径更短，客户端直接打散数据

NFS协议数据写入时，数据需要先写入一个存储节点，该节点再把数据打散到其他存储节点，需要两次IO写入；DPC可将数据在客户端打散后直接写入不同的存储节点，减少一次IO转发，获得更低的读写延迟。

优势4：DPC并行客户端负载均衡能力更优，IO级负载均衡

NFS标准协议的负载均衡均发生在客户端挂载时，个别客户端业务突发会导致存储节点出现瓶颈，进而影响整系统性能；DPC客户端可同时连接多存储节点实现IO级负载均衡，保障存储节点的负载时刻保持均衡。