如果您需要帮助,请点击这里

中国石化构建高效EDW on HANA企业数据仓库系统

2015/6/19 0:00:00

“经过一段时间的优化和测试,到目前为止,基于华为服务器的SAP HANA 取得了卓越性能,在系统响应时间、数据分析、效果,以及用户满意程度上,得到了大幅度提升。经过比较,我们选择了SAP EDW HANA。但是这个技术还需要和硬件平台相配合,我们选择了华为,也是我们长期的合作伙伴。” 

--李剑锋 中石化信息管理部副主任

客户简介

中国石油化工集团公司(英文缩写Sinopec Group,中文简称中石化)是中国特大型石油石化企业集团。中国石化以“为美好生活加油”作为企业使命。坚持把人类对美好生活的向往当作企业发展的方向,致力于提供更先进的技术、更优质的产品和更周到的服务,为社会发展助力加油。坚持走绿色低碳的可持续发展道路,加快构建有利于节约资源和保护环境的产业结构和生产方式,为推进生态文明建设做出贡献。

中国石化在2015年《财富》世界500强企业中排名第2位。

业务挑战

随着中国石油化工集团公司业务的不断扩大,财务报表系统数据量快速增长。在大数据时代,企业所掌握的信息已经成为其最为主要的竞争力来源。而如何通过大数据分析技术对掌握的信息进行有效的管理和分析,从中发掘价值,已经成为现代企业从信息主管到CIO最为关注的话题。作为全球最大的企业之一,中国石油化工集团公司业务领域涵盖整个石化行业的全部生态链,包含多条产品线的,覆盖全国乃至全球的产销渠道体系。如果用树的枝干来比喻一家企业的产销渠道涵盖的产业链,那么中石化的业务则好比由盘结交错的参天大树组成的整片原始森林,对其产生的海量业务数据进行有效管理,难度可想而知。

中石化信息管理部副主任李剑锋表示,“随着这些年的深化应用,我们在经营管理层面,用户不断增多,业务面不断扩展,数据量也越来越大,随着大数据时代的到来,我们对大数据分析的要求也越来越高。”

中石化EDW系统承载中石化集团油田、炼油、化工、销售4个板块,87家企业的财务报表系统,是中石化核心业务系统。 EDW 数据库是中石化核心生产系统的底层数据库平台,负责数据仓库及相关职能部门辅助决策分析,其性能和稳定性直接关系到中石化的生产和运营。 客户原EDW系统采用了IBM高端小型机和高端存储的方案,但是因为存储和网络的IO瓶颈,使得整个数据仓库性能无法满足生产需要。

数据量高速增长

  • 中石化EDW系统支撑87家企业的财务和销售报表系统; 
  • 现网30TB数据,25万余张表,后期数据量将快速增长到100TB。

分析需求灵活多变 

  • 中石化EDW系统承载中石化集团油田、炼油、化工、销售4个板块,87家企业,需灵活扩展以满足变革要求。

现有系统不堪重负

  • 前一天销售日报,第二天下午三点才可以看到数据;
  • EDW系统面临严重的数据库I/O瓶颈,月结期间,主数据仓库运行压力大,进程大量积压,如涉及调整,时间大幅延迟;
  • 中石化是上市公司,财务报表发布有明确时间要求,需要按时输出财务报表。  

解决方案

中石化是世界500强企业,拥有超大型的数据仓库系统。该数据仓库支持超过202个EMP解决方案,包含了中石化所有的运营数据和财务数据,以及财务整合和大量运营报表。企业需要分析的数据规模增长很快,对于数据分析和处理的时效性要求也不断凸显。而基于传统的磁盘数据库来说,在数据处理的跨度、深度和灵活性,无法兼顾。正是出于这样的需求,以SAP HANA为代表的“内存计算”数据分析和处理解决方案正式走上台前,成为追求竞争力的企业对业务数据进行实时分析和处理的主要方式。

而与传统的IT基础架构部署相比,SAP HANA这样的实时数据分析处理方案不能承载在普通的IT基础架构之上。由于涉及到海量的业务数据,且计算全部在系统内存中完成。中石化一期生产环境需要9节点2TB HANA数据仓库集群,要求集群系统具备高性能、高IO吞吐和低时延的要求。同时,对系统可靠性也有着非常高的要求,因为中石化EDW系统承载中石化集团公司87家单位日常财务数据实时分析处理任务,如果系统故障,则会为业务带来重大的损失。而由于业务数据的不断增长,用户对于整个系统的可扩容性同样有非常高的要求。

在中石化EDW on HANA项目中,共使用2套HANA超融合基础设施,包括生产环境规模为8+1个2T HANA节点的集群系统和开发测试环境规模为3+1个1T HANA节点的集群系统。其计算和存储集群采取物理分离部署方式,分别承载HANA内存计算和数据库日志卷、数据卷的持久化保存功能。

集群之间通过高性能、低时延的56Gbps Infiniband网络连接,结合华为自有的分布式存储引擎软件FusionStorage,以及作为日志卷的高性能ES3000 PCIe SSD卡,实现了低于业界平均50%-75%的数据时延。在分布式存储架构之下,华为HANA超融合基础设施方案可实现1.2GB/S日志的写带宽,满足中石化数据库高性能写操作特点。在所有HANA硬件解决方案供应商中,唯有华为采用了Infiniband网络、PCIe SSD和分布式块存储技术,这些技术很好地匹配了HANA内存数据库对低延时近乎苛刻的要求,华为SAP HANA解决方案相对其它厂商极具差异化竞争力。

承载于华为高端设备——FusionCube超融合基础设施之上的华为SAP HANA解决方案,在系统设计层面,对高可靠性有极高的设计要求。例如:整机采用全冗余设计,整体系统无单点故障;在设计上采用计算和存储模块物理分离的方式来保证可靠性;独到的多机头并发分布式存储技术,在保证20倍数据重构速度(30分钟恢复1T数据)的同时,实现存储可靠性大幅提升。

华为SAP HANA超融合基础设施具备超大分布式存储缓存,56Gbps Infiniband网络带来7~10倍的存储网络带宽提升,并具备2倍更低端到端网络时延。种种先进的技术保证了华为SAP HANA超融合基础设施在复杂查询、ETL数据抽取入库、数据生成等关键性能指标中的领先优势。同时系统通过软硬件加速组件,进一步提速HANA软件,为客户带来极速性能体验。

基于超融合基础设施的华为SAP HANA解决方案支持预集成、预安装,针对服务器、存储和网络设备集中监控及运维自动化措施,其运维自动化特性能使企业Opex降低30%以上。同时由于采用高集成度超融合基础设施,机架占用空间仅相当于之前的一半到1/4。

同时,为保障中石化EDW on HANA项目的成功运行,华为联合SAP、石化盈科成立中石化联合保障团队。为了保障项目上线后的日常运转,华为提供最高级别的维护保障服务解决方案,并提供了备件先行服务,在响应时间和响应速度方面,尽快满足客户需要,同时还增加了现场技术支持等服务。

“经过对基础设施的安装和验证,确保其坚如磐石。SAP和华为建立了最好的合作伙伴关系,两者合作不仅有利于业务成果产出,而且有利于中石化的财务管理。”

——SAP执行副总裁兼SAP全球支持集团负责人Dr.Uwe Hommel表示。

客户收益

实际运行结果印证了中石化选择华为HANA超融合基础设施解决方案的正确性,而在中石化EDW on HANA系统正式上线之后,其综合性能提升显著。月度结算业务处理性能平均提升3-5倍,系统综合性能提升显著。系统资源充足,负载高峰期运行稳定,清洗、加载速度慢的问题也得到了完满的解决。在月度结算业务负载高峰期,系统运行稳定,年终结账也在创纪录的时间内完成。同时采用更通用、开放的X86架构平台,摆脱封闭的IOE体系  

扩容

中石化一期EDW HANA系统于2014年10月上线,经过一年多的稳定运行,中石化客户对华为FusionCube for SAP HANA系统的高性能、稳定、可靠、易运维特性非常满意,中石化已于2015年底启动二期扩容。此次扩容到87T HANA集群,分别用于支持中国石化总部业务分析辅助决策系统(HPO)、总部HANA开发测试共享服务、销售公司经营管理决策系统、ERP大集中辅助查询分析系统、人力资源等五大核心系统。华为公司也在为中石化超大型SAP HANA集群系统中积累了丰富的实施和运维经验,这些最佳实践的经验也将服务于各行各业的客户。

“经过一段时间的优化和测试,到目前为止,基于华为服务器的SAP HANA取得了卓越性能,在系统响应时间、数据分析、效果以及用户满意程度上,得到了大幅度提升。”

中石化信息管理部副主任李剑锋表示。

0人已阅读

(0人 已评分)

五星好评,鼓励一下。

0/500

请输入评论内容
提交评论

最新评论0

    查看更多评论

      评分成功!

      提交成功!

      评分失败!

      提交失败!

      请先填写评论!

      分享链接到: