中原银行:携手华为分布式存储,打造更省更快更稳的融合数据湖平台
本站点使用Cookies,继续浏览表示您同意我们使用Cookies。Cookies和隐私政策>
作为河南省唯一的省级法人银行,中原银行自成立起,始终秉承“科技立行、科技兴行”的发展理念,截至2023年6月,中原银行资产总额突破1.3万亿,在全国城商行排名第8位。
2021年,围绕“深化全行数字化应用能力建设,探索从运营效率提升到商业模式创新”的目标,中原银行启动三阶段数字化转型工作,发力零售、公司、风险及中后台建设,以“场景驱动、科技赋能、开放共赢”的平台运营模式,共建金融服务生态;坚持敏捷转型,加强线上化和数字化能力,在打造科技银行和数智银行的征程中阔步前行。
近年来,中原银行围绕分布式数据仓库和大数据技术,构建了一套满足一站式数据集成、存储、计算与开发的数据技术中台,支撑了行内商业决策与各类应用规模化交付。
随着银行业务的线上化、移动化和场景化,业务数据规模爆发式增长,数据类型更多样化,数据仓库作为中原银行主要的基础设施,三年间存储的数据总量增长了2倍之多,基于数据仓库架构的应用数量增加到60多个。同时,以RPA、人机交互、知识图谱为主的AI技术,对半结构化、非结构化数据的快速存取、特征提取及数据加工提出了高并发、低延迟的新要求。
在这个过程中,原有存算一体的数据仓库以及Hadoop大数据集群,在灵活扩容、数据分析效率、业务体验稳定性等方面面临前所未有的挑战:
如何降低数据存储的成本
面对数据量的规模增加,数据仓库扩容已趋于常态化,原有存算一体的架构需要存储和计算同步扩容,但存储容量是随着数据量线性增长,而计算资源需求随着业务高峰和低峰波动,二者同步扩容导致资源利用率不高。
如何提升数据分析效率
中原数据仓库按照分层建模理念,分为整合集群(按照金融主题对数据进行整合汇总)、应用集群(从整合集群抽取数据按照业务场景需要进行数据加工)、数据湖(采集和汇聚各业务系统的贴源数据与整合层历史数据)。由于数据分别存储在数据仓库和数据湖,如何实现跨湖仓的高效数据分析也成为亟需解决的问题。
如何提升业务体验的稳定性
原有大数据存算一体架构计算节点独占缓存数据,会导致某个节点出现故障之后,迁移到新节点时,缓存数据需要重建,业务恢复时长需要小时到天级,严重影响上层业务体验。
面对以上挑战,我们开始探索“湖仓一体”架构方案,并逐步明确融合数据湖的建设思路:
▪ 在数据仓库已经建设完善的前提下,数据湖可以作为数据仓库的补充,位于数据仓库的后端,主要用于卸载数据仓库的部分重载,如历史数据的存储与查询。
▪ 数据湖扩展其他场景下的数据探索与AI分析能力,原有数据仓库对外服务保持不变,依然以整合层、集市层、应用层批处理任务加工和报表查询等应用场景为主。
▪ 在逻辑层面,采用湖仓任务一体化开发、元数据统一管理以及联邦查询等技术将数据湖、数据仓库与数据类服务连接成为一个整体,满足用户的一体化使用需求。
在技术架构上,引入华为OceanStor Pacific大数据存算分离解决方案,通过存算分离和湖仓融合存储,实现存储和计算按需扩容,数据高效流转,满足全行不同业务线的个性化多维度的数据统计分析需求。
通过携手华为分布式存储,融合数据湖方案已在行内成功应用,它用优异的弹性扩展能力和稳定充沛的性能,为优质的用户体验奠定了坚实的基础。
存算分离架构+弹性EC,综合TCO节省20%+
通过存算分离架构,贴源及整合层历史数据下沉到华为OceanStor Pacific存储,实现存储和计算按需扩容,避免计算资源浪费。同时基于华为独有的弹性EC替代多副本存储数据,同等硬件配置下,有效磁盘空间提升175%。
高IOPS+湖仓融合一份存储,数据分析效率提升30%
华为OceanStor Pacific存储的高IOPS可支持海量数据并发读写,相比服务器本地盘读写性能无衰减。通过跨湖仓联邦分析技术,实现一份数据高效全域分析,减少跨集群数据搬迁,缩短了数据处理链路。
数据可靠性存储,故障恢复时长从小时级缩短到分钟级
基于统一存储,实现数据高可靠保存;多种计算框架共享数据,计算故障时,存储不需要重建,从而实现业务恢复时长从小时级缩短到分钟级。
智能纳管,最大限度保护已有投资
新建数据存储资源池时,华为OceanStor Pacific存储可同时支持原有X86集群和鲲鹏集群,无需数据迁移和应用改造,最大限度保护已有投资。
九尺之台起于垒土,千里之行始于足下。中原银行坚持“用数字化手段提升客户体验”,携手华为多年来在分布式存储领域的技术积淀,不断夯实业务底座,服务千家万户,在这片九州腹地上架起了一座贯连金融、科技、民生的桥梁。