让每个企业都拥有专属大模型

尚海峰

华为主机上云军团CEO、混合云总裁

经历半个多世纪的发展，AI技术逐步在典型的行业场景中开始落地，其中自然语言、机器视觉相关技术率先得到广泛应用，但同时也面临着场景单一、开发难度大、无法规模复制等问题，制约了AI的全面普及。

基于大模型的生成式AI异军突起，给整个AI产业带来了蓬勃生机，众多企业、研究机构和开发者蜂拥而至。仅2023年，中国已发布的10亿参数规模以上的大模型就达到79个，根据相关预测，到2025年全球生成式AI市场规模将达到100亿美元以上。而相比消费级大模型市场的炙手可热，我们认为企业级大模型更有可能后发先至，成为未来大模型最大的应用领域。事实上，越来越多的企业开始接入大模型，或是开发基于大模型的应用，也有一些企业致力于通过充裕且经济的AI算力供给，推动“百模千态”的发展。

AI大模型产业，忽如一夜春风来，千树万树梨花开！

企业需要“更懂行、更安全”的大模型

源于长期的行业积累，大型企业拥有丰富的私有数据资源，这些数据对企业的运营具有极为重要的价值，也要求大模型的提供者提供联邦学习、机密计算等多层次的措施，保障数据安全和隐私合规。除了这些技术上的措施，对于很多大型企业而言，他们更倾向于将数据留在本地，确保“数据不出域”。

另一方面，每个行业、每个企业的业务特点都不尽相同，因此差异化的大模型能力供给至关重要。我们知道，大模型的训练需要海量的高质量数据，在公共和开放数据集的基础上，还必须要企业的私有数据参与训练过程，通过增量训练和微调，让大模型更懂行业、懂企业。

企业需要在保证数据安全的基础上，让私有数据参与大模型的训练。我们认为，本地化部署的企业专属大模型可以很好地平衡“安全”与“懂行”之间的矛盾，将成为未来行业大模型的重要部署形态，既满足业务创新诉求，也缓解企业对数据安全和隐私的担忧。

专属大模型建设的选择与挑战

未来，每个企业都会用到大模型，但并非每个企业都需要从零开始打造一个基础大模型，这既不必要，也不现实。首先，高昂的资金投入是最显而易见的挑战，基础大模型的训练需要消耗大量的算力，单次训练可能就需要成百上千万的资金投入，还需要耗费大量时间准备高质量的算料，此外还有人才培养成本等诸多因素。因此，站在巨人肩上也许才是最好的选择，甚至可能事半功倍。

开源将一如既往对大模型产业发展产生巨大推动作用。目前，业界已经有LLaMA 2、PaLM 2、Claude等众多优秀的开源预训练大模型，也吸引了众多企业的积极响应，他们结合自身的场景和私有数据进行本地化训练，让大模型在具备通用能力的基础上，叠加行业知识，形成专属大模型。

但基于开源构建专属大模型也充满挑战。首先，是企业所选择的大模型从参数规模、准确率到泛化性是否能满足业务场景需求；其次，用户需要自主选择AI算力、框架和部署模式，如果缺乏必要的软硬结合的调优能力，将难以充分发挥算力潜能；第三，大模型的开发部署是一个系统工程，开源大模型往往缺乏完善的工具链支撑，企业对模型进行二次开发和精调将非常复杂。

企业亟需商业化的专属大模型，并能通过一站式的部署，降低建设和使用门槛。

基于混合云的专属大模型最优解

7月，华为云面向业界发布了盘古大模型3.0，提供L0基础大模型、L1行业大模型和L2场景模型三层能力，用户可以基于华为公有云快速获取。今天，我们将大模型能力叠加到混合云上，并发布华为云Stack 8.3版本，让用户在本地数据中心，也能一站式建设自己的专属大模型。

首先，基于华为公有云强大算力打造了预训练基础大模型，可直接部署到混合云上，企业不必重复造轮子；同时，基于混合云提供从硬件到模型开发的一站式建设方案，企业无需东拼西凑，仅关注如何在基础大模型的基础上，结合行业数据和私有数据训练生成行业专属大模型。

华为云Stack 8.3支持业界最完整的AI生产链，包括多元算力、CANN异构计算架构、MindSpore AI框架、ModelArts开发平台以及工程套件，结合行业实践经验提供丰富的模型开发与辅助运营专业服务，降低大模型的建设门槛。通过算子融合与混合精度的优化实现软硬协同，单卡环境性能相比开源框架提升45%，多卡环境性能提升28%，让算力潜能得以充分发挥。新版本将首先落地盘古视觉大模型（CV大模型）和盘古自然语言大模型（NLP大模型），提供基础版和高级版及不同原子能力，企业可按需选择，后续我们还会持续迭代更新其他基础大模型。

我们坚持AI for industries的理念，不仅读万卷书，更要行万里路、做最难的事，让大模型在千行万业的生根发芽。当前，我们已经联合10多个客户探索行业大模型，沉淀了丰富的经验。例如，山东能源集团携手华为，基于中心训练、边缘推理的云边架构，部署了全球首个矿山大模型，支撑9大专业21个场景的智能应用。在焦化配煤场景，将焦炭质量预测准确率提升到95%，同时降低预测耗时；在防冲泄压场景，从隔天审核变为实时告警，大幅提升了监管的及时性。

此外，在金融坐席场景，大模型将坐席问答搜索从5次降至1次，效率大幅提升；在铁路列车故障检测场景，实现从“人看”到“AI看”的改变，覆盖100%的故障场景；在电力巡检场景，通过大模型进行线路异常自动识别，仅1个大模型就能覆盖全部缺陷。

大模型不应是少数企业的专利，我们希望基于华为云Stack和盘古大模型的强大能力与经验，让AI产业百花齐放，让每个企业都拥有自己的专属大模型。

免责声明：文章内容和观点仅代表作者本人观点，供读者思想碰撞与技术交流参考，不作为华为公司产品与技术的官方依据。如需了解华为公司产品与技术详情，请访问产品与技术介绍页面或咨询华为公司人员。