边缘AI训/推超融合一体机：企业大模型应用落地的关键挑战及解决方案

陈琳

华为数据存储产品线DCS领域副总裁

随着人工智能技术的快速发展，大模型的应用场景越来越广泛，涵盖了金融、医疗、教育、零售等多个领域。然而，由于金融业务对大模型的准确性、实时性以及安全性要求极高，因此如何提高模型推理的速度和精准度，如何保证数据安全、降低大模型应用的部署难度，成为了金融行业面临的技术挑战。

此外，金融用户的数据量庞大且复杂，包含了大量的结构化数据和非结构化数据，如何有效地处理这些数据，提取出有价值的信息，并将其转化为模型可训练的格式，同样是在大模型应用过程中需要解决的技术问题。

大模型在企业落地面临多重挑战

挑战一：数据质量参差不齐，数据准备时间长。将企业大量的原始数据，清洗成可用的数据集，耗时又复杂。另外，在数据准备过程中，由于各部门的参与度不一，数据质量难以统一，进而影响到大模型的使用效果。

挑战二：大模型幻觉严重，准确性不达标。大模型在面对复杂场景时，输出结果失真，出现大模型幻觉，不仅降低了模型的准确性，还可能带来误导性的结果，甚至可能引发道德和法律风险。

挑战三：硬件选型难、交付周期长，运维成本高。大模型应用需要选择适合的计算、存储、网络等硬件设施。然而硬件种类繁多，性能参数复杂，导致硬件选型难；同时硬件组装、调试、测试、上线等环节复杂，部署上线后的监控、维护和升级等环节繁琐且困难。

挑战四：AI应用开发上线时间长。大模型的部署、调优、发布及上线，对开发人员的技能水平有很高的要求，如何简化大模型开发和调优的过程，并加速应用开发的效率是摆在企业用户面前的一道难题。

挑战五：数据安全无保证。推理应用访问频繁，模型容易被窃取，高价值数据容易被勒索，经常对大模型应用的安全造成巨大威胁。

训/推超融合一体机成为企业边缘AI应用的最佳解决方案

随着技术的进步，AI厂商纷纷推出大模型一体机解决方案，将大模型与硬件设备相结合，预集成丰富的工具链及AI开发套件，开箱即用，为企业提供了一站式的人工智能服务，进而成为企业边缘AI应用的最佳解决方案。业界训/推超融合一体机普遍具备以下特点：

预集成数据准备工具链，帮助企业客户快速生成高质量的数据集

高质量的数据是AI实现精准推理的基石。数据准备工具链组件，通常提供数十种高性能AI算子，能够对多种格式的数据进行清洗（包括解析、过滤、去重、替换等），从而帮助企业用户快速将原始数据转化成高价值的数据集。

内嵌RAG知识库，消除幻觉实现精准推理

通过将高质量数据集嵌入到训/推一体机提供知识库存储中，每当用户提出问题，内嵌的RAG工程将快速从知识库中检索出预置的知识，有效解决幻觉问题。另外，通过实时更新知识库，大模型的回答也将具备时效性。内置的模型评估组件可对模型推理的准确度进行评估和追溯，最终实现精准推理。

网存算硬件全栈预集成，开箱即用，全栈运维

训/推超融合一体机通过将计算、存储、网络等硬件设施预集成、预调优，省去了企业繁琐的选型、组装和调试过程，大大节省了时间和人力成本（如英伟达DGX BasePOD一体机和华为FusionCube A3000训/推超融合一体机，集成了GPU/NPU服务器，网络，以及专业存储设备）。同时，通过预置的全栈设备管理软件，对计算、存储、网络、和容器平台等基础硬件和软件平台进行管理运维，大幅降低IT人员的日常运维负担，使其可以专注于AI业务的实现，而无需为基础设施的搭建和运维感到担忧。

平台开放，提供AI开发平台和AI基础组件，兼容广泛的大模型软件

训/推超融合一体机通常会内置开放的AI开发平台，如NVIDIA NeMo ，它们能够广泛支持大模型的接入、并具备挂载知识库及构建、监测、评估、优化RAG调用链路的能力，能够快速实现推理服务的部署和发布。有些企业的训/推一体机还支持可视化低代码应用编排，为用户提供了多种垂域场景的应用模板。训/推超融合一体机能够将客户AI应用开发上线的周期从月级缩短至天级，快速响应业务部门的AI应用诉求。

提供模型安全和数据保护方案，消除安全威胁

随着边缘推理应用的访问量上升，安全防护需求也在增加。通常训/推一体机还提供安全防护组件，如通过集成硬件防火墙，提供智能防护能力，保障AI推理和应用数据安全；或提供数据防勒索功能，避免模型或高价值数据集被非法加密勒索，从而保护AI数据资产安全。

即使企业跨过上述问题，业务初见成效并规模部署时，仍然面临新的挑战。

随着并发访问量的增加，系统可能会遭遇性能瓶颈，导致响应时间逐渐延长。当多种推理任务和模型同时部署时，可能会出现GPU资源分配、调度不合理和资源利用率低的问题。其次，如发生硬件单点故障，可能会对整个AI业务的稳定性造成不利影响，这些都需要企业用户在不断实践中去探索解决。

面对AI业务批量上线后系统性能低、资源利用率低、可靠性低等挑战，大模型解决方案供应商可以考虑在推理加速、资源调度、以及故障恢复等方面提供更强的产品和服务，从而在激烈的市场竞争中保持领先地位。

训/推超融合一体机面向企业提供全栈集成、开箱即用、稳定可靠，推理精准和安全高效的边缘AI应用解决方案，帮助企业实现大模型最后一公里的落地。

免责声明：文章内容和观点仅代表作者本人观点，供读者思想碰撞与技术交流参考，不作为华为公司产品与技术的官方依据。如需了解华为公司产品与技术详情，请访问产品与技术介绍页面或咨询华为公司人员。