本站点使用Cookies,继续浏览表示您同意我们使用Cookies。Cookies和隐私政策>

搜索

构建采存管算用大数据处理平台,赋能大数据应用

2023-01-31
3115
5

随着互联网的出现和信息技术进步,物联网、社交网络、云计算等不断兴起,数据资源化,“大数据时代”翩然而至。高速发展的现代社会,科技发达,信息流通,人与人之间的交流越来越密切,手机、摄像头、各种IOT传感器每时每刻都在产生大量数据,伴随着数据的收集、存储、融合、计算、分析,大数据应用走入各行各业。社交网络和物联网技术拓展了数据采集技术渠道;分布式存储和计算技术夯实了大数据处理的技术基础;深度神经网络等新兴技术开辟了大数据分析技术的新时代,大数据时代引领未来。2014年以来,我国大数据产业也迎来了飞速发展,依次经历了预热阶段、起步阶段、落地阶段和深化阶段

目前大数据已经广泛应用到城市交通管理、智慧教育、生物医学、智能家居、金融行业、零售业、智慧城市等各行业场景中。面对toC业务的企业可以利用大数据进行精准营销;中小微企业可以利用大数据进行服务化转型;面临互联网压力的传统企业可以充分利用大数据进行智能化、数字化探索;企业可以利用大数据进行营销分析、客户分析和内部运营管理。当前基于大数据的应用已经悄然走入我们每一个人身边,比如抖音、快手、今日头条平台中的推荐功能;淘宝、天猫、京东的猜你喜欢功能;医疗大数据,让看病更高效;零售大数据,最懂消费者;交通大数据,帮助我们畅通出行。

以智慧教育为例,大数据分析在教育行业可以基于师生互动的频率,学生回答问题的时长、正确率,回答问题的次数,学习成绩,课堂举手次数,考试时平均每道题的答题时间等全方位数据打造智慧教育,智慧校园,为每个学生打造一个量身定制的教育方案。教师也可以有针对性的开展因材施教,利用大数据分析技术,找到教学过程的难点,重点,做到有的放矢,提高教育教学水平。

当前以数据为驱动的数字经济和商业变革汹涌而来,Gartner报告指出,企业数据多元化,数字化业务井喷增长,驱动企业需要构建一个跨越孤立数据、简单、一致的数字化运营生态系统;未来跨地域、跨部门、跨领域、跨业务、跨层级的数据互联互通互动趋势催生”数据共同体”,需要统一化机制和差异化治理;大数据发展朝着数据标准化、数据资产化、数据流通、数据服务发展。

伴随着大数据的广泛应用,大数据开发应用过程中逐渐暴露出一些难点痛点,极大的影响了大数据应用的广泛推广:

• 大数据开发应用组件多,组件技术碎片化,敏捷平台方案缺失,用户自己集成难度大、费时费力;大数据组件没有合适的计算存储底座,不同组件不用应用烟囱式安装部署,运维安装难度大;

• 大数据分析引擎对性能要求比较高,需要对整个系统进行融合优化,从底层的存储、计算,再到上层的虚拟化、容器以及大数据分析组件;

• 大数据应用涉及到多个数据处理环节,从数据接入、数据清洗、数据存储、离线分析、实时分析再到上层分析统计,综合展示,数据治理缺乏标准化,质量效果无法保证,缺乏从咨询规划,集成,运营整体解决方案;数据目前普遍存在资产不清晰、管不住、用不好等问题,数据质量差。数据共享壁垒重重,数据资产标准规范缺乏,数据价值未充分释放;

针对大数据开发应用中的难点,痛点,华为推出DCS大数据全栈解决方案,作为DCS(数据中心虚拟化)解决方案大数据生态建设的核心组成部分,采用IaaS +PaaS +SaaS三层架构,内部集成大数据平台,实现大数据的预集成,开箱即用;集成数据采集、数据存储、数据集成、数据离线分析、数据实时分析、数据安全、APIG、支持上层业务应用,打造以数据为中心的E2E企业数据生命周期管理平台,实现数据的采、存、管、算、用。

大数据解决方案采用解耦的设计理念,数据接入、数据融合、数据存储、数据治理、实时数仓再到上层的业务应用,实现组件解耦,方便开发人员开发应用,不同组件可以独立升级、独立演进。有以下三个亮点与优势:

• 亮点1:高性能大数据分析引擎

大数据解决方案提供了高性能大数据分析引擎,内置批处理引擎,宽表数据库,流处理引擎,实时检索引擎,消息发布中间件,为大数据应用奠定坚定基础,华为大数据分析引擎与DCS底座深度融合,深度优化。采用底层存储内置分布式文件存储替换传统的Hadoop HDFS存储,性能更优,功能更强大,实现存储数据的分布式扩展,基于NUMA拓扑优化,性能提升15%+。华为大数据分析引擎,提供基于分布式内存的大规模并行处理框架,大大提升了大数据分析性能,内置SQL查询接口、流数据处理及机器学习,提供大规模分布式数据库,提供随机抓取大量非结构化和半结构化海量数据的能力。

• 亮点2:全方位数据治理平台

大数据解决方案提供了一个全方位的数据治理平台,实现数据的全方位、全生命周期数据治理。提供数据标准管理、数据集成、数据交换、元数据管理、数据资产,数据生存周期、数据质量管理、数据安全管理等多种能力;华为大数据数据治理平台抽取各行业数据治理通用需求,采用灵活的、松耦合设计架构,其功能涵盖了多协议LOT数据接入;按照用户自定义规则完成数据清洗;完成批数据、流数据的分析计算;支持多种类型的、灵活的数据建模,可针对不同行业、不同需求完成数据建模分析,对持续不断形成的数据进行数据资产保护与存储;基于元数据管理、多副本或大比例EC实现数据安全;华为DCS大数据数据治理平台提供数据生命周期管理,数据质量管理,建立规范的数据标准,持续提升用户的大数据应用能力。

• 亮点3:强大灵活的数据中心底座

数据中心底座采用分离式和超融合两种部署方式,支持2 节点起步,平滑扩容至大规模集群,轻量弹性;提供统一的计算、存储、网络资源池,IaaS层和PaaS层分层解耦;

计算资源池支持虚拟化、容器、裸金属、Serverless四大能力,支持X86、ARM双架构,多栈融合,支持GPU/NPU/DPU 多样异构算力;大页内存访问加速,QoS精准保障计算性能,业务运行更高效;智能内存复用,虚拟机密度提升50%;支持LUN直通,VIMS,本地SSD直通多样存储虚拟化能力,满足多样业务负载需求。

存储资源池支持块存储、文件存储、对象存储,支持多协调互通,在自动驾驶场景,测试数据传输导入、预处理、训练、仿真、结果分析各个环节要求协议不同,需要同时用到对象/NAS/HDFS等,利用多协议互通能力,可以避免数据的多次拷贝;DCS存储资源池支持SATA HDD、SAS HDD、SAS SSD、NVMe SSD等多种存储介质,支持SSD+HDD的分级存储,在提升存储利用性能的同时降低成本;支持重删压缩和大比例EC,系统可得容量提升3倍,存储利用率从30+%提升到91.2%,显著提高存储资源利用率;

网络资源池支持硬SDN,支持VPC、EIP、LB、VPN、NAT、微分段等多种网络虚拟化能力;基于DataTurbo性能加速层实现性能加速,助力大数据应用加速。

数据中心底座轻量弹性,可以灵活扩展的同时又能实现极致性能、安全可靠,是大数据应用的上佳底座。

• 大数据解决方案已成功应用到多个场景

大数据解决方案已成功应用到多个场景中。在陕西省某煤矿,客户之前不同业务系统之间是烟囱式架构,不同厂家的采煤机、液压支架,刮板机等设备数据接口缺乏统一标准,接口不统一;各大业务之间无法联动,存在大量的数据孤岛,跨系统难以联动;网络七国八制,数据分析利用效率低。

面对客户智能化生产、安全生产的强烈诉求,华为联合合作伙伴推出DCS大数据解决方案,建立了一套智能化综合管控平台,构建四大分中心:统一调度中心、综合集控中心、智能作业中心和经营管理中心,实现各生产环节、井下环境监测、人员位置等信息的统一可视化管控,根据监测与分析计算结果,实现统一调度、预报警闭环处置、跨系统联动控制、融合通信以及经营决策分析。

大数据平台统一将矿井生产调度、安全管理、机电运输等系统数据采集入湖,沉淀煤炭行业数据模型和接口规范,消除数据孤岛。对上百平方公里的矿区进行孪生映射,作为全局入口,融合人员、采掘、主运输、通风、供排水、通讯、视频、告警等数据于一体,实现对煤矿生产态势的全面感知及快捷调度管理。结合综采环境监测、综采人员管理、设备运行感知、视频监控等多维度数据融合分析,支持综采面孪生场景继续下钻,提供采煤机滚筒轨迹监测、三机一架运行监测、设备列车监测、周期来压分析等更加精细的工作面信息,实现了一屏多面。

大数据解决方案,实现了对煤矿生产态势的全面感知及快捷调度管理,实现人员轨迹实时追踪、快捷通信高效沟通、采掘作业监督掌控、告警监测闭环处理、全矿态势全息感知;大幅度提升了煤矿安全生产能力、数字化能力,煤矿生产成本降低了15%以上,安全生产能力大幅度提升,助力传统煤矿向智能煤矿转型。

结语

DCS大数据解决方案集成信息处理底座、大数据分析引擎、数据治理平台,打造以数据为中心的E2E企业数据生命周期管理平台,实现数据的采、存、管、算、用,赋能各行业大数据应用。

免责声明:文章内容和观点仅代表作者本人观点,供读者思想碰撞与技术交流参考,不作为华为公司产品与技术的官方依据。如需了解华为公司产品与技术详情,请访问产品与技术介绍页面或咨询华为公司人员。

TOP