本站点使用Cookies,继续浏览表示您同意我们使用Cookies。Cookies和隐私政策>

搜索

让每个企业都拥有专属大模型

2023-12-27
777
1

经历半个多世纪的发展,AI技术逐步在典型的行业场景中开始落地,其中自然语言、机器视觉相关技术率先得到广泛应用,但同时也面临着场景单一、开发难度大、无法规模复制等问题,制约了AI的全面普及。

基于大模型的生成式AI异军突起,给整个AI产业带来了蓬勃生机,众多企业、研究机构和开发者蜂拥而至。仅2023年,中国已发布的10亿参数规模以上的大模型就达到79个,根据相关预测,到2025年全球生成式AI市场规模将达到100亿美元以上。而相比消费级大模型市场的炙手可热,我们认为企业级大模型更有可能后发先至,成为未来大模型最大的应用领域。事实上,越来越多的企业开始接入大模型,或是开发基于大模型的应用,也有一些企业致力于通过充裕且经济的AI算力供给,推动“百模千态”的发展。

AI大模型产业,忽如一夜春风来,千树万树梨花开!

企业需要“更懂行、更安全”的大模型

源于长期的行业积累,大型企业拥有丰富的私有数据资源,这些数据对企业的运营具有极为重要的价值,也要求大模型的提供者提供联邦学习、机密计算等多层次的措施,保障数据安全和隐私合规。除了这些技术上的措施,对于很多大型企业而言,他们更倾向于将数据留在本地,确保“数据不出域”。

另一方面,每个行业、每个企业的业务特点都不尽相同,因此差异化的大模型能力供给至关重要。我们知道,大模型的训练需要海量的高质量数据,在公共和开放数据集的基础上,还必须要企业的私有数据参与训练过程,通过增量训练和微调,让大模型更懂行业、懂企业。

企业需要在保证数据安全的基础上,让私有数据参与大模型的训练。我们认为,本地化部署的企业专属大模型可以很好地平衡“安全”与“懂行”之间的矛盾,将成为未来行业大模型的重要部署形态,既满足业务创新诉求,也缓解企业对数据安全和隐私的担忧。

专属大模型建设的选择与挑战

未来,每个企业都会用到大模型,但并非每个企业都需要从零开始打造一个基础大模型,这既不必要,也不现实。首先,高昂的资金投入是最显而易见的挑战,基础大模型的训练需要消耗大量的算力,单次训练可能就需要成百上千万的资金投入,还需要耗费大量时间准备高质量的算料,此外还有人才培养成本等诸多因素。因此,站在巨人肩上也许才是最好的选择,甚至可能事半功倍。

开源将一如既往对大模型产业发展产生巨大推动作用。目前,业界已经有LLaMA 2、PaLM 2、Claude等众多优秀的开源预训练大模型,也吸引了众多企业的积极响应,他们结合自身的场景和私有数据进行本地化训练,让大模型在具备通用能力的基础上,叠加行业知识,形成专属大模型。

但基于开源构建专属大模型也充满挑战。首先,是企业所选择的大模型从参数规模、准确率到泛化性是否能满足业务场景需求;其次,用户需要自主选择AI算力、框架和部署模式,如果缺乏必要的软硬结合的调优能力,将难以充分发挥算力潜能;第三,大模型的开发部署是一个系统工程,开源大模型往往缺乏完善的工具链支撑,企业对模型进行二次开发和精调将非常复杂。

企业亟需商业化的专属大模型,并能通过一站式的部署,降低建设和使用门槛。

基于混合云的专属大模型最优解

7月,华为云面向业界发布了盘古大模型3.0,提供L0基础大模型、L1行业大模型和L2场景模型三层能力,用户可以基于华为公有云快速获取。今天,我们将大模型能力叠加到混合云上,并发布华为云Stack 8.3版本,让用户在本地数据中心,也能一站式建设自己的专属大模型。

首先,基于华为公有云强大算力打造了预训练基础大模型,可直接部署到混合云上,企业不必重复造轮子;同时,基于混合云提供从硬件到模型开发的一站式建设方案,企业无需东拼西凑,仅关注如何在基础大模型的基础上,结合行业数据和私有数据训练生成行业专属大模型。

华为云Stack 8.3支持业界最完整的AI生产链,包括多元算力、CANN异构计算架构、MindSpore AI框架、ModelArts开发平台以及工程套件,结合行业实践经验提供丰富的模型开发与辅助运营专业服务,降低大模型的建设门槛。通过算子融合与混合精度的优化实现软硬协同,单卡环境性能相比开源框架提升45%,多卡环境性能提升28%,让算力潜能得以充分发挥。新版本将首先落地盘古视觉大模型(CV大模型)和盘古自然语言大模型(NLP大模型),提供基础版和高级版及不同原子能力,企业可按需选择,后续我们还会持续迭代更新其他基础大模型。

我们坚持AI for industries的理念,不仅读万卷书,更要行万里路、做最难的事,让大模型在千行万业的生根发芽。当前,我们已经联合10多个客户探索行业大模型,沉淀了丰富的经验。例如,山东能源集团携手华为,基于中心训练、边缘推理的云边架构,部署了全球首个矿山大模型,支撑9大专业21个场景的智能应用。在焦化配煤场景,将焦炭质量预测准确率提升到95%,同时降低预测耗时;在防冲泄压场景,从隔天审核变为实时告警,大幅提升了监管的及时性。

让每个企业都拥有专属大模型-01

此外,在金融坐席场景,大模型将坐席问答搜索从5次降至1次,效率大幅提升;在铁路列车故障检测场景,实现从“人看”到“AI看”的改变,覆盖100%的故障场景;在电力巡检场景,通过大模型进行线路异常自动识别,仅1个大模型就能覆盖全部缺陷。

大模型不应是少数企业的专利,我们希望基于华为云Stack和盘古大模型的强大能力与经验,让AI产业百花齐放,让每个企业都拥有自己的专属大模型。

让每个企业都拥有专属大模型-02

免责声明:文章内容和观点仅代表作者本人观点,供读者思想碰撞与技术交流参考,不作为华为公司产品与技术的官方依据。如需了解华为公司产品与技术详情,请访问产品与技术介绍页面或咨询华为公司人员。

博客标签: # 深度用云

TOP