算网融合下的多云部署和数据存储发展趋势分析

王旭东

华为数据存储产业政策与联盟部部长

自2006年云计算首次商用以来，随着全球数字化转型进程加速，云计算正逐渐成为经济发展的首选数字化业务平台。《“十四五”数字经济发展规划》明确指出“推进云网协同和算网融合发展”，《“十四五”国家信息化规划》明确要求构建新型算力基础设施。据Gartner机构测算，2015—2021年全球云计算市场渗透率由4.3%上升到15.3%^[1]，2021年全球公有云市场规模达到了3 307亿美元，增速达到32.5%，用户已经遍及互联网、政务、金融、教育、制造等各个行业。我国已经成为全球重要的云计算市场，2021年我国云计算市场规模达3 229亿元，同比增长54.4%，公有云市场2 181亿元，同比增长70.8%，私有云市场1 048亿元，同比增长28.7%^[2]。其中，互联网是云计算的主流应用行业，而在政策的驱动下，我国政务云规模持续高速增长。金融、交通、制造等行业的云计算应用水平也在快速提高，成为最具潜力的领域。

虽然云计算发展迅速，但是也正在变得越来越复杂。之前很多企业上云的愿景是将应用负载放在单个云上，但随着业务的需求和技术的发展，混合多云架构因为能够为企业提供更多选择正变得更具吸引力。上云已经由单一云架构转变为混合多云的建设方式。在多云架构部署的模式下，如何实现数据的安全管理、高效流通、敏捷变更已经成为企业管理者在选择多云架构时重点思考的问题。

1、混合多云与存储技术发展趋势

1.1 多元化的企业需求推动多云市场的爆发式增长

当企业决定采用云计算作为基础架构时，需要考虑时间、成本、业务创新、风险管控、法律遵从、关键信息资产保护等多种因素。尤其对于业务全球化、多元化的大中型企业，单一的云商很难满足分布地域广、高耦合度、系统复杂的业务需求，因此多云架构变成了一种新常态。多云的优势是让企业选择最适合其每个应用负载的云服务，既可以选择多种云平台，也可以选择不同的云形态，既不会被单一云资源锁定，也能够满足在距离数据中心更近的位置上云。根据Flexera统计，如图1所示，89%的企业选择了多云的部署模式，其中80%选择了混合云，7%选择了混合公有云，2%选择了混合私有云^[3]。由此可见，混合多云的部署模式是绝大部分企业上云的选择。

1.2 数据中心存储技术的发展趋势

随着人工智能、大数据、5G、物联网的快速发展，数据规模呈现爆发式增长，数据已经成为关键的生产要素。存储作为数据的直接载体和数据中心的重要组成部分，守护着数字经济发展的生命线。中国算力大会发布了《中国存力白皮书(2022年)》，明确了数据中心存力规模为800 EB，并阐述了数据存力的概念，指出数据存储技术的发展和数据存力的水平是衡量数字经济高质量发展的关键因素，是激活数据要素价值、提高数据汇聚能力的根本^[4]。

Gartner发布的《2022年存储与数据保护技术成熟度曲线报告》显示，存储发展趋势主要包含以下重点方向:2021—2025年，部署支持主存储工作负载的外部闪存存储中采用NVMe-oF技术的比例由5%增长到30%;2022—2025年，推出至少一种混合云架构部署模式的存储厂商由15%增长到60%;2022—2025年，部署在边缘的企业存储比例由15%增长到40%;2026年，在数据中心、公有云和边缘部署的非结构化数据容量预计将是2022年的3倍^[5]。在云计算存储领域，容器存储部署和数据处理单元专有硬件集成的存储也成为两大发展趋势。

2、混合多云下数据基础设施层建设面临的挑战

2.1 数据爆发式增长带来的数据管理难题

根据IDC报告，2022—2026年，企业生成的数据将从59 ZB增长到155 ZB，全球数据领域的规模预计将增加一倍以上。企业数据增长速度将是消费者数据的两倍^[6]。ESG的多云成熟度调查也显示，企业管理的非结构化数据的三年复合年增长率为39.4%^[7]。这将给企业的管理和数据保护带来更大的挑战，尤其是在多云的部署模式下。多云环境除了使用公有云、私有云、专有云等不同形态的云服务，还体现在使用不同云计算供应商的资源服务，在多云环境下最大的难题是如何将割裂的数据和资源进行统一管理，并应对数据利用率低、运维复杂、运营成本高等挑战。

希捷报告指出，2020年企业只有32%的可用数据被使用^[8]。由于多云之间的架构不同导致数据之间的访问存在壁垒，要实现多云的数据存储扩展、数据的轻松流通和利用很困难，容易产生新的“数据孤岛”。

在不同云之间保留数据会限制业务负载的可移动性并增加合规风险。特别是目前云计算的存储成本是不稳定的，伴随着数据的指数增长、成本的增加，隐藏的费用支出大大提高了总拥有成本(Total Cost of Ownership，TCO)，并且额外的高额费用会让数据被锁定在某个云上。比如73%的受访者表示，数据留存成本限制了他们企业最大化数据价值的能力。还有60%的受访企业表示，由于存储成本过高，他们删除了他们认为有价值的业务数据^[7]。可以看到，越来越多的企业感受到了多云数据成本相关的挑战。

2.2 多云让不同数据资源形成了孤岛

由于多云建设采用了不同的技术堆栈、不同的数据平台来实现数据整合和管理，所以企业很难迁移不同格式且驻留在不同存储技术中的数据。虽然企业整合了公有云、私有云、传统企业数据中心和边缘数据中心等多种基础资源来支撑各种云化应用，但不同技术体系的数据中心仍是“数据孤岛”，相互之间的数据共享与流动十分困难且成本相当高。可迁移性解决方案获取和维护成本很高，并且缺乏可迁移性可能导致多云战略的风险。由于“数据孤岛”的长期存在，数据的迁移和流转要面对更多的安全风险，如何使不同云上的数据实现合规管理也面临着巨大的挑战。

2.3 多云之间的数据资源流动难

在企业多云的场景下，数据资源往往需要被不同的应用平台处理，这就要求数据能在不同云平台之间双向自由流动，但是每一个云商采用的存储层硬件资源是不同的，这就形成了硬件资源被云商锁定的局面，当企业在建设多个云平台时就会被迫采用不同的存储硬件资源。而云商的存储硬件资源之间的协议不互通、生态不适配、数据不一致、数据不可用等限制带来了数据流动的风险和瓶颈，从而造成完成数据迁移和数据可用的时间达到数周或者数月。在多云之间、边缘和云之间的数据流动需要占用大量的网络带宽和稳定的低时延，因此，不稳定的网络传输效率也会带来数据流动的瓶颈。从全球的云计算和存储产业发展来看，云和存储之间建立了开放合作的生态和标准，其更具备前瞻性和协同性。在商务层面，云平台与数据存储设备分开采购;在技术层面，云平台和数据存储设备兼容互通。统一的数据存储资源池能够支撑多云间的数据实时共享和流动，保障数据的完整一致性。

3、促进多云和数据存储协同高质量发展的相关建议

3.1 部署多元数据存储形态，分层解耦建设多云基础设施

数据存储一直是高价值数据的最佳底座，并伴随着数据应用的演进而发展。早期的数据应用主要是数据库系统以及大型主机应用，此时的外置存储以存储区域网络 (Storage Area Network， SAN)存储为主。随着互联网、云计算的高速发展，不同用户在使用云计算时产生的数据形式、应用场景、访问方式都存在较大的差异，云计算需要满足各类场景下的多元用户需求，统一存储应运而生。在保证性能、可靠性的基础上，存储扩展能力也得到了极大的提升。在IaaS层数据存储架构选择上有多种方式，包括基于服务器存储的分布式架构、基于外置存储的SAN架构等，但是无论选择哪种方式，当前的IaaS层绝大部分采用了计算、存储、网络分离的分层解耦组网模式，即使是大型的公有云服务商也不例外。尤其是在以混合云或者私有云为主的多云部署方式下，数据中心的外置存储设备作为分层解耦的架构更具备优势。其带来的数据管理、数据流动、成本控制更加符合多云发展的现状。多云架构下应当选择多元化的存储类型，并采用分层解耦的建设方式。

3.2 数据集中共享，存储云原生能力加速赋能企业多云数字化转型

企业业务创新持续加速，需要进一步缩短应用上市的周期，拥抱容器技术成为了当今绝大部分企业的选择。应用云上开发、云下部署既能利用公有云的敏捷弹性降低开发测试成本，又能利用私有云保证数据安全和主权。由于云上云下的开发和应用架构不一致以及业务割裂，无法保证应用的一致性交付、一致性运维，云上PaaS/SaaS服务下推到云下企业数据中心需要对企业信息技术(Information Technology，IT)架构进行容器化改造。有状态应用在进行云化改造时，云原生应用场景对服务的敏捷度、灵活性要求非常高，很多场景期望容器的快速启动、灵活的调度。云原生时代的存储系统，除了要满足性能、稳定性、可靠性的要求以外，还要满足业务系统对敏捷性的要求，能够通过统一的编排系统配合业务上线，并且可以实现快速扩容。首先，存储支持标准接口规范，实现与容器的对接，采用专业存储代替服务器本地盘，具有高可靠性，计算和存储灵活更换、扩展。在这一基础上，网络附属存储(Network Attached Storage，NAS)是最适合作为容器底座的存储，一方面，业务系统可以非常方便地挂载和卸载到NAS文件系统上，契合容器弹性伸缩的诉求;另一方面，NAS拥有丰富的企业级特性，如多租户、配额等，与容器面向应用级的多租户、服务质量(Quality of Service，QoS)等诉求可以配合使用。此外，NAS还可以将文件系统开销卸载到存储上，在大并发应用下，性能不受主机操作系统开销影响。在容器标准接口和灾备插件的配合下，数据存储可以为容器提供应用级的跨云、跨数据中心容灾，使云原生关键应用拥有和传统应用一样的容灾能力，避免单节点故障、单数据中心故障和集群故障，达到数据零丢失的可用容灾级别。这种高可用机制只需通过存储底层实现，应用无需为考虑高可用进行任何改造，使企业只关注应用本身，加速企业IT向多云架构迈进。

3.3 积极拥抱多云架构，打造多云时代安全可靠的存储底座

数据存储是多云架构优劣的关键，应当积极发挥数据存储和云技术的能力，构建数据分级存储、全局文件系统、存储容器化和Diskless数据中心架构的能力。探索本地与云上冷热数据分层管理、数据容灾备份等技术路线，打造具备高可靠、高性能、多协议、低成本的统一存储。从产、学、研、用等多维度推进，鼓励在多云建设时采用数据基础设施建设升级，通过制定政策促进企业在上云过程中建设统一的数据存储资源池，并制定云平台和数据存储的互联互通标准。加快闪存数据存储的应用节奏，并将其纳入企业数字化转型工作计划。加大新型存储架构的产业扶持力度和科研资金投入，引导企业联合高校、科研院所将新型存储架构的基础研究、技术创新与市场应用相结合。打造一批以新型存储架构应用为代表的示范项目，加速相关技术产品的产业化和应用。

新型算力网络体系的一个重大趋势是算网融合，而在算网融合的背景下云计算的发展趋势必定是向多云快速转变。对于企业数字化转型而言，实现数据的简化访问、无缝流动、统一管理尤为重要。提高多云战略下的适应性和灵活性，降低多云数据管理的复杂性，解决多云数据分层、灾备、迁移等数据管理难题是每个企业面临的难题。云商和存储厂商应当积极将专业的数据存储部署到多云架构中，以帮助企业实现数据的跨云平滑演进。

参考文献

[1]前瞻经济学人. 2021年全球云计算行业市场规模与发展前景分析企业上云推动云管理服务市场上升. (2021-05-19)[2023-04-27][EB/OL]. https://baijiahao.baidu.com/s?id=1700167616149594812&wfr=spider&for=pc.
[2]中国信息通信研究院. 云计算白皮书(2022年)
[R]， 2022.
[3]Flexera.
State of the cloud report (2022)
[R]， 2022.
[4]2022中国算力大会.
中国存力白皮书(2022年)
[R]， 2022.
[5]Gartner.
存储与数据保护技术成熟度曲线报告(2022)
[R]， 2022.
[6]IDC.
Worldwide IDC global DataSphere forecast， 2022—2026: enterprise organizations driving most of the data growth
[R]， 2022.
[7]ESG.
The multicloud maturity report
[R]， 2022.
[8]Seagate.
Rethink data: put more of your business data to work-from edge to cloud
[R]， 2021.

免责声明：文章内容和观点仅代表作者本人观点，供读者思想碰撞与技术交流参考，不作为华为公司产品与技术的官方依据。如需了解华为公司产品与技术详情，请访问产品与技术介绍页面或咨询华为公司人员。