AI-Ready的金融数据基础设施建设思考与参考架构

袁远

华为分布式存储领域总裁

随着AI技术的飞速发展，AI应用已经渗透到金融行业的方方面面。OCR（Optical Character Recognition，光学字符识别）、指纹识别、语音识别等传统识别类AI技术早已和金融业务深度融合。近几年，新兴的生成式AI技术也如雨后春笋般在金融行业落地，广泛应用到营销、风控、运营等多种关键业务中，极大地提升了金融行业的服务水平。业界普遍认为，高质量的数据是AI发挥价值的关键，而先进的数据基础设施则是汇聚高质量数据的先决条件。因此，构建可价值变现、可持续演进、具有业务韧性的金融数据基础设施，是金融行业在AI时代的必然选择，专业存储汇聚海量、高质量的数据，助力AI应用价值释放。

华为数据存储多年来致力于为全球金融客户提供优质体验，总结出金融行业数据分析、生产交易、数据保护三大场景的参考架构和最佳实践，希望为正在进行数字化转型的金融客户在数据基础设施建设方面提供参考。

金融数据分析平台的架构演进路线和参考架构

当前，金融数据分析平台已成为金融行业业务增长的新引擎，在营销、风控、获客方面发挥了重要价值。然而，当前金融分析平台的数据孤岛问题依然严重：AI训练推理、大数据分析等应用平台的存储底座独立建设，各平台扩展能力差，平台间数据流动难。

在无数据不AI的时代，数据孤岛问题显然已经成为制约金融业务向前发展的关键障碍。因此，华为建议金融机构将数据分析平台存储底座的建设模式由多平台分离建设转变为AI数据湖融合建设模式，并且采用专有存储硬件取代传统存算一体的通用服务器。该架构在性能、成本、可靠性方面能为企业带来更大收益，具体如下：

金融数据分析平台参考架构

AI数据湖通过HDFS和S3协议对接多种上层应用平台，支持各种主流的上层生态组件，同时还支持多协议无损互通，让应用间的数据共享变得更容易，同时具备完善的Quota和QOS能力，为客户带来更好的使用体验。

数据编织层通过Omni-Dataverse引擎实现便捷的数据管理，支持跨地域数据管理和异构纳管，让全局数据可视、可管、可用；并且支持多DC（Data Center，数据中心）多活容灾能力，可靠性高达99.9999%。

数据存储层采用专有存储设备，通过2PB/2U、0.5W/TB的绿色高密全闪专有存储，以低于存算一体通用服务器（HDD）方案30%的TCO畅想全闪的性能。此外，华为存储设备支持千亿量级海量文件管理，为上层应用带来极致性能体验。

通过高效融合的统一存储底座，汇聚中心和边缘的全量数据，更多的高质量数据使能AI应用，促进数据价值挖掘。

金融生产交易平台的架构演进路线和参考架构

当前，金融生产交易平台正在与AI技术深度融合。例如，识别各类身份证件的OCR技术、基于生物特征的身份识别技术正在被广泛应用，并重塑金融行业的业务模式，极大促进了移动金融服务的快速发展。

从多数银行公布的年报来看，新兴金融服务交易量年均增长50%以上，同时数据量每年增长约30%以上。因此，新兴的业务模式不仅扩大了金融服务的触达渠道，延伸了金融服务时长，也正在重塑金融行业的数据中心基础架构，具体表现为以下三点：

  1. 业务种类与业务量的激增，对数据基础设施的性能、吞吐量提出了更高要求，例如数据读写时延要小于1ms。

  2. 服务时间的延长，对整体架构可用性的提出更高要求，数据中心基础架构的可靠性要提升到99.9999%以上。

  3. 新兴业务由多样化的技术平台（虚拟化和容器平台）承载，并带来更加多样化的数据（包括结构化及非结构化数据），导致数据中心运维复杂度提升。

目前，华为发现越来越多的金融客户倾向于采用分层解耦、按需分配的统一资源池架构打造生产交易平台。这种架构能够根据业务系统的等级，分配不同的计算和存储资源，通过Quota配额和QoS服务质量的方式来实现应用的隔离和资源保障；同时，能够兼顾物理服务器计算资源、虚拟化平台、容器平台的多样性数据读取需求，提升整体资源利用率和系统可靠性。

金融生产交易平台参考架构

该架构结合华为数据存储的领先技术，能够实现高性能、高可靠、智能运维，确保业务永续、提升运维效率，具体如下：

  1. 华为OceanStor Dorado全闪存以0.05ms的高性能低时延，轻松应对金融业务高速增长带来的挑战；实现高达2100万IOPS的吞吐能力，满足各类生产系统数据库的极致性能要求。

  2. 华为OceanStor Dorado双活阵列高可靠方案，同时支持SAN和NAS两种协议的免网关双活，可靠性高达99.9999%，确保业务永远在线。

  3. 华为DME不仅能够通过自动化配置实现快速的资源发放和故障定位，还可以实现数据的冷热分类和智能分级，统一管理多个业务系统的多个资源池，让复杂的运维工作变得更加智能和简洁。

金融数据保护平台的架构演进路线和参考架构

多DC容灾备份是业界熟知的容灾方案，华为在此基础上提出了321的建设原则，即每份数据至少有3个副本、数据存放在两种不同的介质上，生产中心站点以外有一份数据拷贝。显而易见，321原则能显著提高数据中心对各类自然灾害、恶意攻击的防护等级。然而，随着勒索病毒日益泛滥，基于321原则的安全架构仍然面临严峻挑战。

为消除勒索病毒带来的威胁，华为打造了业界唯一的MRP（Multilayer Ransomware Protection，多层联动勒索攻击防护）网存联动6层数据保护方案，把防勒索功能融入到321原则中，整体方案如下图所示。

华为MRP网存联动6层数据保护方案

第一层防护，网络边界防入侵：网络层借助AI检测引擎和算法，对勒索病毒进行智能分析，检测率从业界的80%提升到90%以上，极大地提升了勒索病毒的检测效果。

第二层防护，网络内部防扩散：该方案通过网络侧的安全态势感知能力，收集现网的安全威胁信息，随后进行分钟级的安全分析及处置策略下发，将勒索攻击告警实时同步到存储管理器，快速执行快照恢复、数据隔离、恶意文件黑名单等处置动作，将数据恢复速度提升5倍以上。

第三层防护，生产存储防护：生产存储通过IO操作日志和数据特征对异常加密行为进行实时监测，通过文件黑名单对异常扩展名的写入进行拦截；通过建立历史数据基线模型，在周期检测过程中，借助AI模型的在线学习能力，判断文件是否被勒索加密，并进行相应标记。

第四层防护，安全快照/WORM保护：安全快照采用HyperCDP技术，可实现3秒间隔快照，极大缩短RPO时间；通过保留WORM不可篡改快照，能够有效抵御自毁攻击，实现秒级恢复。

第五层防护，备份保护：恢复速度最高172TB/H，实现数据快速恢复。

第六层防护，隔离区保护：Air Gap隔离保护，守护数据安全底线，安全高效恢复业务和数据。

华为MRP方案以100%的检测样本通过率成功通过美国权威机构Tolly Group安全认证，Tolly Group是全球最权威的科技产品第三方测评机构之一，其测评结果已成为全球主流客户甄选设备供应商的一个重要参考。

Tolly Group 创始人Kevin W.Tolly为华为颁发证书

工欲善其事，必先利其器。华为数据存储围绕金融场景构筑了端到端的存储解决方案，涵盖数据分析、核心生产和数据保护等多个场景，在产品性能、可扩展性、数据韧性、绿色节能、数据管理方面具有显著优势。希望本文对金融数据基础设施演进路线的分析和探讨，能为业界带来些许参考，助力金融客户快速拥抱AI时代，用先进的数据基础设施汇聚高质量的数据，加速AI应用在金融行业落地，促进金融行业健康快速发展。

免责声明：文章内容和观点仅代表作者本人观点，供读者思想碰撞与技术交流参考，不作为华为公司产品与技术的官方依据。如需了解华为公司产品与技术详情，请访问产品与技术介绍页面或咨询华为公司人员。