构建采存管算用大数据处理平台，赋能大数据应用

吴学文

DCS解决方案专家

随着互联网的出现和信息技术进步，物联网、社交网络、云计算等不断兴起，数据资源化，“大数据时代”翩然而至。高速发展的现代社会，科技发达，信息流通，人与人之间的交流越来越密切，手机、摄像头、各种IOT传感器每时每刻都在产生大量数据，伴随着数据的收集、存储、融合、计算、分析，大数据应用走入各行各业。社交网络和物联网技术拓展了数据采集技术渠道；分布式存储和计算技术夯实了大数据处理的技术基础；深度神经网络等新兴技术开辟了大数据分析技术的新时代，大数据时代引领未来。2014年以来，我国大数据产业也迎来了飞速发展，依次经历了预热阶段、起步阶段、落地阶段和深化阶段

目前大数据已经广泛应用到城市交通管理、智慧教育、生物医学、智能家居、金融行业、零售业、智慧城市等各行业场景中。面对toC业务的企业可以利用大数据进行精准营销；中小微企业可以利用大数据进行服务化转型；面临互联网压力的传统企业可以充分利用大数据进行智能化、数字化探索；企业可以利用大数据进行营销分析、客户分析和内部运营管理。当前基于大数据的应用已经悄然走入我们每一个人身边，比如抖音、快手、今日头条平台中的推荐功能；淘宝、天猫、京东的猜你喜欢功能；医疗大数据，让看病更高效；零售大数据，最懂消费者；交通大数据，帮助我们畅通出行。

以智慧教育为例，大数据分析在教育行业可以基于师生互动的频率，学生回答问题的时长、正确率，回答问题的次数，学习成绩，课堂举手次数，考试时平均每道题的答题时间等全方位数据打造智慧教育，智慧校园，为每个学生打造一个量身定制的教育方案。教师也可以有针对性的开展因材施教，利用大数据分析技术，找到教学过程的难点，重点，做到有的放矢，提高教育教学水平。

当前以数据为驱动的数字经济和商业变革汹涌而来，Gartner报告指出，企业数据多元化,数字化业务井喷增长,驱动企业需要构建一个跨越孤立数据、简单、一致的数字化运营生态系统；未来跨地域、跨部门、跨领域、跨业务、跨层级的数据互联互通互动趋势催生”数据共同体”，需要统一化机制和差异化治理；大数据发展朝着数据标准化、数据资产化、数据流通、数据服务发展。

伴随着大数据的广泛应用，大数据开发应用过程中逐渐暴露出一些难点痛点，极大的影响了大数据应用的广泛推广：

• 大数据开发应用组件多，组件技术碎片化，敏捷平台方案缺失，用户自己集成难度大、费时费力；大数据组件没有合适的计算存储底座，不同组件不用应用烟囱式安装部署，运维安装难度大；

• 大数据分析引擎对性能要求比较高，需要对整个系统进行融合优化，从底层的存储、计算，再到上层的虚拟化、容器以及大数据分析组件；

• 大数据应用涉及到多个数据处理环节，从数据接入、数据清洗、数据存储、离线分析、实时分析再到上层分析统计，综合展示，数据治理缺乏标准化，质量效果无法保证，缺乏从咨询规划，集成，运营整体解决方案；数据目前普遍存在资产不清晰、管不住、用不好等问题，数据质量差。数据共享壁垒重重，数据资产标准规范缺乏，数据价值未充分释放；

针对大数据开发应用中的难点，痛点，华为推出DCS大数据全栈解决方案，作为DCS（数据中心虚拟化）解决方案大数据生态建设的核心组成部分，采用IaaS +PaaS +SaaS三层架构，内部集成大数据平台，实现大数据的预集成，开箱即用；集成数据采集、数据存储、数据集成、数据离线分析、数据实时分析、数据安全、APIG、支持上层业务应用，打造以数据为中心的E2E企业数据生命周期管理平台，实现数据的采、存、管、算、用。

大数据解决方案采用解耦的设计理念，数据接入、数据融合、数据存储、数据治理、实时数仓再到上层的业务应用，实现组件解耦，方便开发人员开发应用，不同组件可以独立升级、独立演进。有以下三个亮点与优势：

• 亮点1：高性能大数据分析引擎

大数据解决方案提供了高性能大数据分析引擎，内置批处理引擎，宽表数据库，流处理引擎，实时检索引擎，消息发布中间件，为大数据应用奠定坚定基础，华为大数据分析引擎与DCS底座深度融合，深度优化。采用底层存储内置分布式文件存储替换传统的Hadoop HDFS存储，性能更优，功能更强大，实现存储数据的分布式扩展，基于NUMA拓扑优化，性能提升15%+。华为大数据分析引擎，提供基于分布式内存的大规模并行处理框架，大大提升了大数据分析性能，内置SQL查询接口、流数据处理及机器学习，提供大规模分布式数据库，提供随机抓取大量非结构化和半结构化海量数据的能力。

• 亮点2：全方位数据治理平台

大数据解决方案提供了一个全方位的数据治理平台，实现数据的全方位、全生命周期数据治理。提供数据标准管理、数据集成、数据交换、元数据管理、数据资产，数据生存周期、数据质量管理、数据安全管理等多种能力；华为大数据数据治理平台抽取各行业数据治理通用需求，采用灵活的、松耦合设计架构，其功能涵盖了多协议LOT数据接入；按照用户自定义规则完成数据清洗；完成批数据、流数据的分析计算；支持多种类型的、灵活的数据建模，可针对不同行业、不同需求完成数据建模分析，对持续不断形成的数据进行数据资产保护与存储；基于元数据管理、多副本或大比例EC实现数据安全；华为DCS大数据数据治理平台提供数据生命周期管理，数据质量管理，建立规范的数据标准，持续提升用户的大数据应用能力。

• 亮点3：强大灵活的数据中心底座

数据中心底座采用分离式和超融合两种部署方式，支持2 节点起步，平滑扩容至大规模集群，轻量弹性；提供统一的计算、存储、网络资源池，IaaS层和PaaS层分层解耦；

计算资源池支持虚拟化、容器、裸金属、Serverless四大能力，支持X86、ARM双架构，多栈融合,支持GPU/NPU/DPU 多样异构算力；大页内存访问加速，QoS精准保障计算性能，业务运行更高效；智能内存复用，虚拟机密度提升50%；支持LUN直通，VIMS，本地SSD直通多样存储虚拟化能力，满足多样业务负载需求。

存储资源池支持块存储、文件存储、对象存储，支持多协调互通，在自动驾驶场景，测试数据传输导入、预处理、训练、仿真、结果分析各个环节要求协议不同，需要同时用到对象/NAS/HDFS等，利用多协议互通能力，可以避免数据的多次拷贝；DCS存储资源池支持SATA HDD、SAS HDD、SAS SSD、NVMe SSD等多种存储介质，支持SSD+HDD的分级存储，在提升存储利用性能的同时降低成本；支持重删压缩和大比例EC，系统可得容量提升3倍，存储利用率从30+%提升到91.2%，显著提高存储资源利用率；

网络资源池支持硬SDN，支持VPC、EIP、LB、VPN、NAT、微分段等多种网络虚拟化能力；基于DataTurbo性能加速层实现性能加速，助力大数据应用加速。

数据中心底座轻量弹性，可以灵活扩展的同时又能实现极致性能、安全可靠，是大数据应用的上佳底座。

• 大数据解决方案已成功应用到多个场景

大数据解决方案已成功应用到多个场景中。在陕西省某煤矿，客户之前不同业务系统之间是烟囱式架构，不同厂家的采煤机、液压支架，刮板机等设备数据接口缺乏统一标准，接口不统一；各大业务之间无法联动，存在大量的数据孤岛，跨系统难以联动；网络七国八制，数据分析利用效率低。

面对客户智能化生产、安全生产的强烈诉求，华为联合合作伙伴推出DCS大数据解决方案，建立了一套智能化综合管控平台，构建四大分中心：统一调度中心、综合集控中心、智能作业中心和经营管理中心，实现各生产环节、井下环境监测、人员位置等信息的统一可视化管控，根据监测与分析计算结果，实现统一调度、预报警闭环处置、跨系统联动控制、融合通信以及经营决策分析。

大数据平台统一将矿井生产调度、安全管理、机电运输等系统数据采集入湖，沉淀煤炭行业数据模型和接口规范，消除数据孤岛。对上百平方公里的矿区进行孪生映射，作为全局入口，融合人员、采掘、主运输、通风、供排水、通讯、视频、告警等数据于一体，实现对煤矿生产态势的全面感知及快捷调度管理。结合综采环境监测、综采人员管理、设备运行感知、视频监控等多维度数据融合分析，支持综采面孪生场景继续下钻，提供采煤机滚筒轨迹监测、三机一架运行监测、设备列车监测、周期来压分析等更加精细的工作面信息，实现了一屏多面。

大数据解决方案，实现了对煤矿生产态势的全面感知及快捷调度管理，实现人员轨迹实时追踪、快捷通信高效沟通、采掘作业监督掌控、告警监测闭环处理、全矿态势全息感知；大幅度提升了煤矿安全生产能力、数字化能力，煤矿生产成本降低了15%以上，安全生产能力大幅度提升，助力传统煤矿向智能煤矿转型。

结语

DCS大数据解决方案集成信息处理底座、大数据分析引擎、数据治理平台，打造以数据为中心的E2E企业数据生命周期管理平台，实现数据的采、存、管、算、用，赋能各行业大数据应用。

免责声明：文章内容和观点仅代表作者本人观点，供读者思想碰撞与技术交流参考，不作为华为公司产品与技术的官方依据。如需了解华为公司产品与技术详情，请访问产品与技术介绍页面或咨询华为公司人员。