如何实现高带宽和高IOPS负载兼得？

郭洪星

华为海量存储领域架构师

数字经济时代，信息科学技术蓬勃发展，传统HPC与大数据、人工智能技术逐渐走向融合，以ARM、GPU、FPGA为代表的异构计算对存储性能的要求进一步提高，HPC存储面临的负载类型愈加多样化。

传统HPC存储系统处理复杂业务负载时，需要部署多套不同类型的存储，容易形成性能孤岛，降低整体流程处理效率。因此，一个存储集群如何同时满足高带宽、高IOPS和极致低时延的混合负载模型，提升流程处理效率，成为HPC存储面临的最大挑战。

问题都看到了，那么如何来解决呢？别着急，Tech Now！这就为您安排~

所谓“天下武功，唯快不破”

为您揭秘破解HPC存储性能瓶颈的“武林秘籍”

要点一

混合负载下，为什么性能是存储面临的挑战？

“面向带宽”和“面向IOPS”这两个不同的场景，在“性能衡量标准”、“软件栈调度策略要求” 和 “介质最佳访问模型”３个方面都存在差异，甚至不同场景下的需求也会发生冲突。

• 性能衡量标准的差异

带宽型业务性能衡量标准是单位时间内的数据总吞吐量，而IOPS型业务是单位时间内能处理的总的IO请求量、以及每个IO的处理时延。

• 软件栈调度策略要求的差异

带宽型业务希望CPU尽量少切换，而IOPS型业务希望CPU在请求间尽快切换，确保每个请求的处理时延都很低。

• 介质最佳访问模型的差异

带宽型业务最佳的访问模型是磁盘IO大、元数据少，磁盘LBA连续度高，而IOPS型业务最佳的访问模型是IO大小与磁盘管理粒度匹配、IO放大少。

为解决HPC存储在混合负载场景下的性能难题，华为推出了OceanFS(下一代OceanStor文件系统)，通过多维度创新来解决带宽和IOPS型业务共存的问题。

要点二

OceanFS如何实现大I/O极致的带宽？

• 大IO直通技术

大IO不缓存、不镜像，直接下盘，减少内存和网络放大。

• 大比例EC技术

在保证可靠性的前提下，降低校验数据占比，减少磁盘带宽放大。

• 拷贝集成校验技术

在CPU和内存执行拷贝时，进行DIF校验，减少内存带宽放大。

• Append-Only磁盘布局技术

新数据追加写到磁盘连续的空白位置，无效数据后台垃圾回收，保障大I/O在磁盘上的连续度。

要点三

OceanFS如何实现小I/O超高IOPS和超低时延？

• 小IO缓存聚合技术

小I/O写缓存，聚合后镜像到其它节点，降低小I/O响应时延。

• 免分布式锁技术

基于目录分区粒度将数据打散，目录分区归属到节点，避免了并发操作时的锁协商，大幅降低CPU开销和请求时延。

• 单边RDMA智能缓存技术

小I/O采用单边RDMA技术镜像，减少I/O在CPU、内存、网卡间的复制，释放CPU算力。

要点四

OceanFS如何解决，混合负载下的大、小I/O的性能冲突？

• CPU智能调度专核专用，大、小I/O请求队列分离，减少CPU切换时延。

• 自动识别I/O优先级基于I/O优先级进行端到端QoS管理，前台优于后台，元数据优先于数据，响应优先于请求。

• 多粒度磁盘管理基于I/O大小自适应索引策略，大I/O大粒度索引，保证带宽，小I/O小粒度索引，保证时延。

华为OceanStor Pacific存储

以非凡存力，释放数据潜力

率先实现

一套存储同时支持高带宽和高IOPS

助力用户从传统HPC向HPDA平滑演进

免责声明：文章内容和观点仅代表作者本人观点，供读者思想碰撞与技术交流参考，不作为华为公司产品与技术的官方依据。如需了解华为公司产品与技术详情，请访问产品与技术介绍页面或咨询华为公司人员。