如果您需要帮助,请点击这里

融合数据湖:加速银行业基于数据的业务创新

华为企业BG全球金融业务部解决方案总监 邱耀/文

感情男声
  • 感情男声
  • 感情女声
  • 标准男声
  • 标准女声
倍速1.0X
  • 倍速0.5X
  • 倍速1.0X
  • 倍速1.5X

随着全球银行业数字化转型的加快,以及数据驱动战略在全球领先银行的落地实践,融合数据湖已成为越来越多主流银行实现业务创新的首选平台。华为正通过联合业界ISV 伙伴,帮助越来越多的银行迈向以数据驱动业务创新的崭新路径。

融合数据湖:金融机构建设数据平台的首选

长期以来,数据仓库系统一直是企业IT架构的重要组成部分,特别是针对银行业这类高度依赖数字技术的传统行业而言,无论是在传统的监管报送,还是在近年来火热的商业智能领域,数据仓库都扮演着越来越重要的角色。

近年来,随着移动技术特别是移动互联网的快速发展,金融业务的线上化、移动化和场景化比例越来越高,相应也带来了数据量的爆炸式增长以及数据类型的多样性。举例来说,传统的数据仓库平台通常其处理能力在数百GB到数百TB不等,而一个大型现代银行平均每天产生的数据量都高达几TB甚至几十TB,每年的新增数据量则高达PB级别;同时,随着银行深入融入客户的场景化生活,每天会产生大量的非结构化数据,例如埋点数据、交易日志、图像和音/视频等,这些都给传统用来处理单一结构化数据类型和有限数据量的数据仓库平台带来了严峻挑战。因此,如何改造现有的数据仓库平台,使其支持对海量、多元化数据的处理,支持数据驱动的业务创新,已成为困扰IT管理者的主要问题。

传统数据仓库平台面临的挑战

居高不下的成本: 无论是平台的初期投资还是后期扩容支出,传统的数据仓库平台都占据IT部门较大的开支(以中等规模的银行为例,平均每年在数仓平台的投资以千万计,大行的年投资均在数千万以上)。

缺乏实时分析能力:尤其是随着数据量和用户规模的不断增加,传统的数据仓库无法保证实时分析(例如实时反欺诈)的SLA要求。

缺乏多样化计算能力:传统数据仓库多为关系型数据库,对半结构化和非结构化数据的处理能力偏弱。

缺乏在线扩容能力:传统的数据仓库平台在扩容时通常要求暂停现有业务系统,由于数据规模日益庞大,导致每次扩容耗时过长,对业务连续性带来严峻挑战。

平台无法解耦:传统的数据仓库平台通常均为一体机架构,不符合银行对IT架构解耦的战略诉求。

未来的数据平台呈现5大发展趋势

开放分布式架构:尤其是开放平台叠加MPP DB,已成为越来越多大型金融机构的首选,通过分布开放式架构可以帮助金融机构实现软/硬件解耦,同时带来对海量数据的处理能力,并支持平台的横向线性扩展。

具备更加实时的业务决策能力:伴随着银行对业务实时性处理的诉求,尤其是随着银行客户对业务体验的实时性和个性化体验的提升,实时分析处理已成为银行在建设数据仓库平台时的基本诉求。

处理更多类型的全量数据:企业必须能够有效地存储、加工和分析数据,包括结构化数据、半结构化数据和非结构化数据。多元化的数据依托于多样化的技术,给金融机构的数据挖掘和分析带来更多的价值。

业务永远在线:金融机构希望不会因为系统的扩容或升级造成业务中断,相反业务的7×24在线已成为银行对关键业务系统的刚性需求。

支持与AI平台的融合能力:金融机构正在越来越多业务领域探索AI的应用。AI应用领域非常依赖于数据,因此在规划建设数据平台的初期就需要考虑与AI平台的融合能力。

融合数据湖成为金融机构数据平台建设的主要方向

通过整合分布式数据仓库平台和大数据处理平台,融合数据湖具备了对结构化数据和非结构化数据的同时处理能力,以及实时数据处理和线下批量处理的能力,并借助分布式线性扩展能力来适应海量数据的处理需求。伴随着金融业务的日趋移动化和线上化,以及客户体验的快速提升,融合数据湖已成为银行构建以客户为中心的场景化金融、实现快速业务创新的重要依托平台。

华为融合数据湖解决方案

华为是目前业界唯一能够提供融合大数据平台(FusionInsight MRS)、分布式数据仓库平台(FusionInsight DWS)、AI开发平台(ModelArts)以及分布式存储解决方案的厂家,并且在平台之上集成了华为自研的数据虚拟化平台和数据使能平台(包括数据治理DAYU和数据集成ROMA),最终为金融行业客户提供了从数据接入、数据存储、数据处理、数据分析到数据治理等的端到端解决方案;同时结合华为的全栈硬件帮助行业客户实现从芯片到平台级的性能优化,最终帮助客户实现极致性能的数据分析处理能力,加速基于数据驱动的业务创新。

华为融合数据湖解决方案

为全球TOP级银行建设融合数据平台

随着移动互联网技术的快速发展,尤其是移动支付技术渗透到生活的全场景,国内传统金融机构开始面临着与新兴金融科技企业的激烈竞争。作为全球TOP级银行的G行,在2015年启动的数字化转型蓝图中就明确了数据驱动战略。为适应该战略的发展需要,G行启动了基于开放架构的分布式数据平台的选型,以应对业务数据激增和业务快速创新带来的严峻挑战。

在向分布式数据平台转型之前,G行面临着如下挑战:

日益高昂的数据平台投资:无论是前期的平台建设还是后续的平台扩容,G行都面临着巨大的成本压力。举例来说,在2005~2015年的10年间,G行就付给某数据仓库厂商高达8亿元人民币,平均每年的维保费用达数千万元人民币。

传统的封闭式架构:尤其是一体机架构与G行的技术解耦战略相悖。作为严重依赖数字化技术创新的金融行业,对厂家锁定深恶痛绝。

业务的在线升级:伴随着客户对业务体验的要求日益提高,以及监管对业务报送的强时效性要求,传统的数据仓库平台已无法保证平台的在线扩容要求。

缺乏实时数据处理能力:传统的数据仓库平台主要基于线下分析处理,缺乏互联网场景下的实时数据处理能力,特别是对于反欺诈类的实时数据流处理,传统数据仓库平台更是无从应对。

缺乏对半结构化和非结构化数据类型的处理能力:传统数据仓库平台主要面对的是基于关系型的结构化数据处理,而在移动互联网场景下产生的多元化数据,例如日志数据、埋点数据、声音和图片等缺乏足够的分析处理能力。在银行践行数据驱动战略的前提下,拥有多元化数据分析处理和探索能力已成为各大金融机构选择数据平台的首要考虑因素之一。

G行在考察了众多厂商的平台后最终选择华为融合数据湖平台,一方面是因为华为多年来在数据平台技术上的深厚积累,以及华为大数据平台在全球客户中的大量应用,包括华为消费者业务超10000+节点的大规模部署,以及全球大T运营商动辄数千节点的部署规模,也包括国内最具创新性的Z银行基于华为数据平台的大量创新应用案例;另一方面也是基于华为解决方案创新性地融合了数据仓库平台和大数据平台,符合数据平台向“湖仓一体化”发展的未来趋势;此外,在整个数据平台的建设过程中,华为还提供了完整的数据迁移方案,确保了数据从遗留平台到新平台的平滑迁移,完美实现了数据零丢失、业务零中断的业务诉求。

经过前期的调查分析、迁移方案设计、方案验证以及方案实施,华为最终帮助G行客户在2019年6月完成了全部传统数据仓库平台的替换,实现了生产环境中近千个节点、超过2PB数据的迁移部署,完美达成了业务的安全与平滑迁移。

随着全球银行业数字化转型的加快,以及数据驱动战略在全球领先银行的落地实践,融合数据湖已成为越来越多主流银行实现业务创新的首选平台。从中国大量领先银行的融合数据湖实践,到海外众多国家和地区(例如马来西亚、新加坡和北欧地区等)主流TOP级银行对融合数据湖平台的接纳,华为正通过联合业界ISV伙伴,帮助越来越多的领先银行迈向以数据驱动业务创新的崭新路径。

扫描体验移动阅读
ICT封面

第29期 智慧金融特辑

移动优先,数领未来,携手向智慧金融时代进发

Current catalogue

视野

特别报道

焦点