华为OceanStor分布式存储荣获ICT中国优秀解决方案奖

由工业和信息化部信息通信发展司主导的“百城千兆”建设暨未来城市发展高峰论坛在北京国家会议中心盛大开幕。

工业和信息化部信息技术发展司司长闻库、中国通信企业协会会长苗建华、中国信息通信研究院副院长王志勤等领导专家出席了大会论坛，该论坛旨在推进各城市网络建设部署，全面支撑未来城市发展，助力千行万业产业升级，培养新动能。

数据基础设施面临新挑战

随着互联网业务发展和免流量套餐的普及，用户的行为越来越多元化，运营商管道内的数据越来越多。

当前大数据平台采用多副本的数据保护模式，存储资源利用率只有33%，海量数据首先带来的是采购成本的大幅提升，加重了企业负担。

其二，应用的多元化，导致计算和存储需求很难均衡，存算一体的建设模式，不可避免的存在资源浪费，以日志留存应用为例，少数运营商省公司，CPU平均利用率不到10%。

其三，动辄几百台的服务器，占用了大量机房空间，带来了高额的供电、制冷成本。

而随着流量时代的到来，机器与机器之前的通信密度将提升8倍以上，源数据量和源数据种类都将爆发式增长。网络的复杂化和应用的多样化，将更加依赖数据分析，数据的存储周期也会成倍增长。

提高资源利用率，降低成本，成为运营商客户大数据平台建设的核心诉求。

持续创新打造最佳数据基础设施

华为通过OceanStor分布式存储对外提供原生HDFS接口，将Hadoop集群分成计算和存储两个独立集群，计算层走向虚拟化、容器化，存储层通过HDFS为计算层提供数据读写服务，支持Apache Hadoop和主流商用Hadoop。平滑将Hadoop集群从当前计算、存储一体拆分成计算和存储两个独立集群，充分吸纳计算、存储两个产业的创新成果，加速释放数据价值。

基于OceanStor分布式存储的大数据存算分离方案有如下价值：

计算存储分离

• 按需扩展，实现精准投资
• 采用EC方案替代Hadoop多副本的存储模式，存储资源利用率提升1.75倍，降低硬件采购成本

提升分析效率

• 全分布式的NameNode架构，单NameSpace提供百亿的文件存储，提高数据管理效率
• 多协议融合，一份数据同时支持文件、大数据接口访问，免数据迁移，缩短分析路径，分析效率提升30%以上
• 一套存储同时支持多厂家、多版本大数据集群，共享存储资源，消除数据孤岛，加速数据流动

提升可靠性

• 多故障域，每个故障域均允许多节点同时故障，数据可靠性成倍提升
• 亚健康监测，提前识别风险硬件，自动隔离，避免多点故障
• 精细化流量控制，结合快速数据重构能力，快速恢复数据冗余机制

基于华为OceanStor分布式存储的大数据存算分离方案，在运营商、安平、金融、政府、互联网已经有近百个案例。其中，联通集团通过部署存算分离方案，整体大数据平台TCO下降30%以上，节省近千万的投资；存算协同带来分析效率提升20%以上，收入增长数千万；引入存储层的数据保护技术，可靠性也有30倍以上的提升。