如果您需要帮助,请点击这里

破解HPC存储性能瓶颈的“武林秘籍”

2021-07-06 263
感情男声
  • 感情男声
  • 感情女声
  • 标准男声
  • 标准女声
倍速1.0X
  • 倍速0.5X
  • 倍速1.0X
  • 倍速1.5X

数字经济时代,信息科学技术蓬勃发展,传统HPC与大数据、人工智能技术逐渐走向融合,以ARM、GPU、FPGA为代表的异构计算对存储性能的要求进一步提高,HPC存储面临的负载类型愈加多样化。传统HPC存储系统处理复杂业务负载时,需要部署多套不同类型的存储,容易形成性能孤岛,降低整体流程处理效率。因此,一个存储集群如何同时满足高带宽、高IOPS和极致低时延的混合负载模型,提升流程处理效率,成为HPC存储面临的最大挑战。

混合负载下,为什么性能是存储面临的挑战?

“面向带宽”和“面向IOPS”这两个不同的场景,在“性能衡量标准”、“软件栈调度策略要求” 和 “介质最佳访问模型”3个方面都存在差异,甚至不同场景下的需求也会发生冲突。

性能衡量标准的差异

带宽型业务性能衡量标准是单位时间内的数据总吞吐量,而IOPS型业务是单位时间内能处理的总的IO请求量、以及每个IO的处理时延。

软件栈调度策略要求的差异

带宽型业务希望CPU尽量少切换,而IOPS型业务希望CPU在请求间尽快切换,确保每个请求的处理时延都很低。

介质最佳访问模型的差异

带宽型业务最佳的访问模型是磁盘IO大、元数据少,磁盘LBA连续度高,而IOPS型业务最佳的访问模型是IO大小与磁盘管理粒度匹配、IO放大少。

为解决HPC存储在混合负载场景下的性能难题,华为推出了OceanFS(下一代OceanStor文件系统),通过多维度创新来解决带宽和IOPS型业务共存的问题。

OceanFS如何实现大I/O极致的带宽?

大IO直通技术:大IO不缓存、不镜像,直接下盘,减少内存和网络放大。

大比例EC技术:在保证可靠性的前提下,降低校验数据占比,减少磁盘带宽放大。

拷贝集成校验技术:在CPU和内存执行拷贝时,进行DIF校验,减少内存带宽放大。

Append-Only磁盘布局技术:新数据追加写到磁盘连续的空白位置,无效数据后台垃圾回收,保障大I/O在磁盘上的连续度。

OceanFS如何实现小I/O超高IOPS和超低时延?

小IO缓存聚合技术:小I/O写缓存,聚合后镜像到其它节点,降低小I/O响应时延。

免分布式锁技术:基于目录分区粒度将数据打散,目录分区归属到节点,避免了并发操作时的锁协商,大幅降低CPU开销和请求时延。

单边RDMA智能缓存技术:小I/O采用单边RDMA技术镜像,减少I/O在CPU、内存、网卡间的复制,释放CPU算力。

OceanFS如何解决,混合负载下的大、小I/O的性能冲突?

CPU智能调度专核专用,大、小I/O请求队列分离,减少CPU切换时延。

自动识别I/O优先级基于I/O优先级进行端到端QoS管理,前台优于后台,元数据优先于数据,响应优先于请求。

多粒度磁盘管理基于I/O大小自适应索引策略,大I/O大粒度索引,保证带宽,小I/O小粒度索引,保证时延。

0/500

请输入评论内容
提交评论

最新评论0

    查看更多评论

      评分成功!

      提交成功!

      评分失败!

      提交失败!

      请先填写评论!