华为发布领先高性能AI知识库存储，加速行业大模型训练推理

[中国，上海，2023年9月21日] 在华为全联接大会2023上，华为董事、ICT产品与解决方案总裁杨超斌重磅发布领先的高性能AI知识库存储——OceanStor A800，以高性能数据基础设施，加速行业大模型训练/推理，领跑AI时代。

数字化、智能化大潮奔腾而来，新的基础大模型不断涌现，行业大模型快速发展。当前，企业在开发和应用大模型的过程中，面临三大挑战：

首先，大模型从单模态走向多模态，训练集以文本、图片等海量小文件为主。当前，海量小文件加载速度不足100MB/s，难以跟上GPU运算速度，造成大量算力资源浪费。

其次，为应对网络波动、算力故障和参数调优等问题，模型训练时每隔两小时需保存一次高达TB级的Checkpoint文件。保存时GPU停止训练，大文件写性能不足，导致GPU空置时间长。

此外，大模型在专业领域的知识更新滞后，数据质量不高，出现答非所问现象，行业实用性亟待提升。

面对以上挑战，华为推出OceanStor A800高性能AI知识库存储，通过三大关键能力，解决大模型训练/推理过程中的数据处理效率瓶颈，加速大模型应用上线。

• 超高性能：基于创新数控分离架构，大幅提升小文件处理性能，存储单框IOPS达到2400万，训练数据加载效率是业界4倍。

• 超快恢复：采用创新盘控协同技术及NFS+并行客户端，实现500GB/s超高带宽，TB级Checkpoint大文件读写仅需十几秒，断点续训恢复速度是业界3倍，大幅缩短模型训练周期。

• 超强推理：存储内生高速向量知识库，提升大模型行业知识深度、精度和时效性，并通过智能向量检索引擎，实现25万+QPS，毫秒级推理响应，知识库检索效率领先业界30%。

大模型时代，数据决定AI智能的高度。在相同算力资源投入下，减少GPU等待时间，提升AI大模型训练/推理效率、优化成本是企业致胜的关键。华为数据存储将秉承“以存强算”的理念，提供创新的AI存储产品与解决方案，加速推动AI赋能千行万业。

了解更多华为存储解决方案，请查阅：https://e.huawei.com/cn/products/storage