本站点使用Cookies,继续浏览表示您同意我们使用Cookies。Cookies和隐私政策>

搜索

华为OceanStor分布式存储荣获ICT中国优秀解决方案奖

2020年10月15日

由工业和信息化部信息通信发展司主导的“百城千兆”建设暨未来城市发展高峰论坛在北京国家会议中心盛大开幕。

工业和信息化部信息技术发展司司长闻库、中国通信企业协会会长苗建华、中国信息通信研究院副院长王志勤等领导专家出席了大会论坛,该论坛旨在推进各城市网络建设部署,全面支撑未来城市发展,助力千行万业产业升级,培养新动能。

数据基础设施面临新挑战

随着互联网业务发展和免流量套餐的普及,用户的行为越来越多元化,运营商管道内的数据越来越多。

当前大数据平台采用多副本的数据保护模式,存储资源利用率只有33%,海量数据首先带来的是采购成本的大幅提升,加重了企业负担。

其二,应用的多元化,导致计算和存储需求很难均衡,存算一体的建设模式,不可避免的存在资源浪费,以日志留存应用为例,少数运营商省公司,CPU平均利用率不到10%。

其三,动辄几百台的服务器,占用了大量机房空间,带来了高额的供电、制冷成本。

而随着流量时代的到来,机器与机器之前的通信密度将提升8倍以上,源数据量和源数据种类都将爆发式增长。网络的复杂化和应用的多样化,将更加依赖数据分析,数据的存储周期也会成倍增长。

提高资源利用率,降低成本,成为运营商客户大数据平台建设的核心诉求。

持续创新打造最佳数据基础设施

华为通过OceanStor分布式存储对外提供原生HDFS接口,将Hadoop集群分成计算和存储两个独立集群,计算层走向虚拟化、容器化,存储层通过HDFS为计算层提供数据读写服务,支持Apache Hadoop和主流商用Hadoop。平滑将Hadoop集群从当前计算、存储一体拆分成计算和存储两个独立集群,充分吸纳计算、存储两个产业的创新成果,加速释放数据价值。

基于OceanStor分布式存储的大数据存算分离方案有如下价值:

计算存储分离

  • 按需扩展,实现精准投资
  • 采用EC方案替代Hadoop多副本的存储模式,存储资源利用率提升1.75倍,降低硬件采购成本

提升分析效率

  • 全分布式的NameNode架构,单NameSpace提供百亿的文件存储,提高数据管理效率
  • 多协议融合,一份数据同时支持文件、大数据接口访问,免数据迁移,缩短分析路径,分析效率提升30%以上
  • 一套存储同时支持多厂家、多版本大数据集群,共享存储资源,消除数据孤岛,加速数据流动

提升可靠性

  • 多故障域,每个故障域均允许多节点同时故障,数据可靠性成倍提升
  • 亚健康监测,提前识别风险硬件,自动隔离,避免多点故障
  • 精细化流量控制,结合快速数据重构能力,快速恢复数据冗余机制

基于华为OceanStor分布式存储的大数据存算分离方案,在运营商、安平、金融、政府、互联网已经有近百个案例。其中,联通集团通过部署存算分离方案,整体大数据平台TCO下降30%以上,节省近千万的投资;存算协同带来分析效率提升20%以上,收入增长数千万;引入存储层的数据保护技术,可靠性也有30倍以上的提升。

TOP