以下方案信息来自合作伙伴

enterprise logo

顺德区公安局社会治安视频监控系统后台扩容(云平台建设)

方案概述

视频云+大数据平台,以人脸识别、视频结构化、物联感知等技术为核心,实现人、地、物、事、情等信息的采集、关联和融合,建立以视频图像为主、多种资源关联叠加的视频资源服务体系,为各级公安提供一个资源共享、能力开放的视频大数据平台。 通过“前端感知—后端人工智能处理—大数据关联分析—形成抓捕、管控两类数据流”的应用模式,为基层公安机关开展立体化治安防控工作提供“尖刀利器”。

方案价值

前端多源数据接入,支持接入视频数据、卡口电警数据、WiFi电围数据、门禁数据等

构建视频图像信息数据库,将前端数据汇聚并将视频数据结构化、分类建库,为大数据挖掘碰撞打下基础

整个视频云+大数据平台基于云平台,满足实战业务对资源弹性计算调度需求

架构上采用多算法融合开放技术,为不同区域不同用户提供不同的算法服务

提供视频云+应用,支撑防控、研判、指挥调度等实战需求

发布日期:2019-05-16
更多该企业方案
架构说明
2.2大数据云基础设施服务2.2.1总体架构设计云数据中心的架构主要是在物理服务器、存储、网络等硬件基础上,通过服务器虚拟化、存储虚拟化形成计算服务器资源池、存储资源池、网络资源池。统一云资源管理平台依托于下层的网络设备、计算资源、存储资源等硬件基础设施,抽象出服务器资源池、存储资源池、网络资源池,并提供不同的资源池管理、资源监控调度、负载均衡、多租户管理等管理功能。虚拟化资源池能够满足对CPU处理能力要求高、并发数用户数较大的业务系统、查询系统、分析系统和比对系统,在业务压力较大的时候能够快速扩展并提供足够资源供给,为业务应用提供稳定支撑。存储虚拟化是通过将一个(或多个)目标服务或功能与其他附加的功能集成,统一提供有用的全面功能服务。存储虚拟化的优点和服务器虚拟化类似,资源可以复用,业务暂时不用的存储空间可以给其他业务使用。上层管理不用特别关注具体的存储硬件情况。2.2.2存储资源池设计2.2.2.1存储规划设计根据本次视频云存储规划设计,建议视频图像片段、卡口图片等非结构化数据存储采用统一资源池存储设计。配置场景总有效容量设备备注16路视频结构化+1路人脸抓拍1245云存储云存储节点(4U,48G,含存储节点控制板管理软件)9台云存储后端连接交换机48口万兆SFP+,4口4GEQSFP+)2台2.2.2.2视频云存储技术要求视频云存储需提供分布式存储解决方案。该方案面向种类繁多的文件存储上层业务,为客户提供存储多种类型业务数据的方案。该方案要求与其对接的上层业务遵循接口规定,方案的具体描述如下:?视频云存储提供统一命名空间的存储系统,多种业务的数据都存储在这个统一的存储空间中,包括文件,视频,图象等多种类型的业务数据存储;??容量扩展的同时,性能同步提升,避免因为数据量增多而产生的性能瓶颈;?支持在线扩容,容量扩展的同时,保证不会中断业务,并且支持多个节点批量扩容;?整系统采用集群部署和Erasurecode数据保护策略,支持N+1到N+4的数据可靠性保障,以及故障自动检测、修复技术,保障系统可靠性;?视频云存储对外提供NAS接口,支持NFS和CIFS协议共享,适应多种应用场景,例如:支持和文件业务对接,和图片业务对接等;?每种业务对存储空间的需求不同,视频云存储支持ThinProvisioning实现空间弹性扩展,满足不同业务的存储需求,同时不会造成空间定额分配造成的浪费;?针对不同业务需求,视频云存储还提供了配额管理、分级存储、快照、WORM等增值特性。?对设备管理员,提供WEBUI管理工具,统一管理存储设备。?扩容方式快速,节点前端和后端连线准备后,点击管理界面扩容按钮,快速识别新增容量,并存储空间自动融入统一资源池中进行规划管理,1分钟完成单节点扩容建设。支持在线平滑扩容,6秒之内完成单节点扩容;可以支持6PB存储容量扩容,满足大量视频图像长期保存的需求;在不中断业务的情况下,实现存储空间的大规模在线扩展,存储空间的扩展方式主要有以下两种:2.2.2.3视频云存储组网拓扑存储节点在系统内部通过1GEEthernet交换机互联,再通过核心交换机连接到监控业务平台。本方案中考虑链路安全及后续扩容的方便,选用万兆光纤分别连接到核心交换机,实现节点间监控业务平台的互联。2.2.3计算资源池设计该技术常用于异构存储系统的整合和统一数据管理,在实际使用中较为常见。该技术的优点:1、与主机无关,不占用主机资源。2、支持异构主机、异构存储设备。3、统一不同存储设备的数据管理功能。4、构建统一管理平台,可扩展性好。虚拟化网络建设在安全性考虑,存储网络采用独立网络FC。主要是:现阶段FCSAN是主流,一方面普及广泛,性能良好,管理人员、技术人员对其都很熟悉。另一方面,FCSAN的安全性是有口皆碑的,光纤通道结构本身是一个独立的子网,具有先天的安全性。FC协议是专为数据传输开发的,特别适合于数据库等关键应用的数据存储。FCSAN在诞生之初就定位于高性能数据存储服务,带宽利用率高、传输时延很小,传输效率高。其他原因还包括:①FCSAN是一种大数据块传输;②光纤线缆不存在串扰问题:③光纤线缆不存在RJ45的水晶头制作问题:由于采用了相对封闭的独立网络系统,避免大量终端用户对存储网络的直接访问所带来的恶意攻击。同时利用光纤通道协议采用的Initiator和Target方式以及FCSAN网络的Zoning网络隔离技术,有效防止网络中非授权主机对存储设备和资源的访问,安全性很高。2.2.4大数据平台支撑硬件设计视频大数据平台按照基础支撑环境、基础平台层、数据层、服务层、应用层进行纵向分层设计,辅以数据标准规范、服务标准规范、安全保障体系提供支撑,共同支撑视频大数据平台对外提供基础资源服务、数据服务。1、基础支撑环境层基础支撑环境层是警务大数据平台及基于平台建设的应用系统的基础运行环境支撑层,包括服务器、存储、网络等等。2、数据资源层数据资源层是信息资源服务平台的主体,提供数据资源的组织、转换、增量导入、数据清洗等功能。经导入和清洗的数据资源,根据其不同的性质、数量和应用方式,将数据存放在相应的数据库系统中。数据层由以下部分组成:ETL工具:抽取生产库/资源库中的数据,使用ETL工具将数据装载至基础库Hadoop平台:(包含HadoopHDFS、Yarn、Hbase、Hive、Spark),为大数据平台提供了一个海量数据处理的基础平台软件生态系统;基于大数据架构的数据资源组织与计算:根据大数据应用要求对汇聚的数据资源进行组织、管理和高效率运算。3、接口服务层服务层提供对数据的转换和分析,以提供复杂的数据资源服务。应用系统在访问数据资源的时候,可以通过接口直接访问数据资源,也可以通过服务层所提供的复杂的,经转换、分析而得到的数据资源或统计信息。4、应用层提供各警种的业务查询、专业用户分析研判。有关系人分析、频度分析以及卡口应用。2.2.4.1硬件规划及容量规划集群规划核心数据集群由物理服务器集群组成。数据由专线接入,由数据处理集群进行数据预处理。然后将处理后的数据写入核心数据层。本次项目的大数据应用规划,采用服务器分布式存储构建结构化数据存储空间;大数据集群的规划如下:?索引服务器:大数据按照每台大概处理1亿索引;存储空间按照双副本,每服务器15TB有效空间(24盘位9GSAS),公式如下:服务器台数=MAX(总数据容量*2/(每服务器有效容量),总索引数/每台索引数)配置场景总索引数总空间容量(TB)索引服务器数量16路视频结构化+1路人脸抓拍23.8亿3.353台(9GSAS24盘位服务器)?大数据服务器:大数据的碰撞计算按照两个35W条记录碰撞,6-1S返回的性能指标估计,运算主要包含交并差分组排序统计过滤,评估服务器总数如下:服务器数量=(每分钟总处理数据量*单位数据量所需要的计算能力)*1.3/每台服务器的处理能力;每台服务器处理能力按照15万TPMC计算,处理1G数据大概需要1万TPMC,每分钟需要处理的数据量估计为12GB;大致需要1台服务器;2.2.4.2基础支撑环境层架构集群规划核心数据集群由服务器集群组成。
2.2大数据云基础设施服务2.2.1总体架构设计云数据中心的架构主要是在物理服务器、存储、网络等硬件基础上,通过服务器虚拟化、存储虚拟化形成计算服务器资源池、存储资源池、网络资源池。统一云资源管理平台依托于下层的网络设备、计算资源、存储资源等硬件基础设施,抽象出服务器资源池、存储资源池、网络资源池,并提供不同的资源池管理、资源监控调度、负载均衡、多租户管理等管理功能。虚拟化资源池能够满足对CPU处理能力要求高、并发数用户数较大的业务系统、查询系统、分析系统和比对系统,在业务压力较大的时候能够快速扩展并提供足够资源供给,为业务应用提供稳定支撑。存储虚拟化是通过将一个(或多个)目标服务或功能与其他附加的功能集成,统一提供有用的全面功能服务。存储虚拟化的优点和服务器虚拟化类似,资源可以复用,业务暂时不用的存储空间可以给其他业务使用。上层管理不用特别关注具体的存储硬件情况。2.2.2存储资源池设计2.2.2.1存储规划设计根据本次视频云存储规划设计,建议视频图像片段、卡口图片等非结构化数据存储采用统一资源池存储设计。配置场景总有效容量设备备注16路视频结构化+1路人脸抓拍1245云存储云存储节点(4U,48G,含存储节点控制板管理软件)9台云存储后端连接交换机48口万兆SFP+,4口4GEQSFP+)2台2.2.2.2视频云存储技术要求视频云存储需提供分布式存储解决方案。该方案面向种类繁多的文件存储上层业务,为客户提供存储多种类型业务数据的方案。该方案要求与其对接的上层业务遵循接口规定,方案的具体描述如下:?视频云存储提供统一命名空间的存储系统,多种业务的数据都存储在这个统一的存储空间中,包括文件,视频,图象等多种类型的业务数据存储;??容量扩展的同时,性能同步提升,避免因为数据量增多而产生的性能瓶颈;?支持在线扩容,容量扩展的同时,保证不会中断业务,并且支持多个节点批量扩容;?整系统采用集群部署和Erasurecode数据保护策略,支持N+1到N+4的数据可靠性保障,以及故障自动检测、修复技术,保障系统可靠性;?视频云存储对外提供NAS接口,支持NFS和CIFS协议共享,适应多种应用场景,例如:支持和文件业务对接,和图片业务对接等;?每种业务对存储空间的需求不同,视频云存储支持ThinProvisioning实现空间弹性扩展,满足不同业务的存储需求,同时不会造成空间定额分配造成的浪费;?针对不同业务需求,视频云存储还提供了配额管理、分级存储、快照、WORM等增值特性。?对设备管理员,提供WEBUI管理工具,统一管理存储设备。?扩容方式快速,节点前端和后端连线准备后,点击管理界面扩容按钮,快速识别新增容量,并存储空间自动融入统一资源池中进行规划管理,1分钟完成单节点扩容建设。支持在线平滑扩容,6秒之内完成单节点扩容;可以支持6PB存储容量扩容,满足大量视频图像长期保存的需求;在不中断业务的情况下,实现存储空间的大规模在线扩展,存储空间的扩展方式主要有以下两种:2.2.2.3视频云存储组网拓扑存储节点在系统内部通过1GEEthernet交换机互联,再通过核心交换机连接到监控业务平台。本方案中考虑链路安全及后续扩容的方便,选用万兆光纤分别连接到核心交换机,实现节点间监控业务平台的互联。2.2.3计算资源池设计该技术常用于异构存储系统的整合和统一数据管理,在实际使用中较为常见。该技术的优点:1、与主机无关,不占用主机资源。2、支持异构主机、异构存储设备。3、统一不同存储设备的数据管理功能。4、构建统一管理平台,可扩展性好。虚拟化网络建设在安全性考虑,存储网络采用独立网络FC。主要是:现阶段FCSAN是主流,一方面普及广泛,性能良好,管理人员、技术人员对其都很熟悉。另一方面,FCSAN的安全性是有口皆碑的,光纤通道结构本身是一个独立的子网,具有先天的安全性。FC协议是专为数据传输开发的,特别适合于数据库等关键应用的数据存储。FCSAN在诞生之初就定位于高性能数据存储服务,带宽利用率高、传输时延很小,传输效率高。其他原因还包括:①FCSAN是一种大数据块传输;②光纤线缆不存在串扰问题:③光纤线缆不存在RJ45的水晶头制作问题:由于采用了相对封闭的独立网络系统,避免大量终端用户对存储网络的直接访问所带来的恶意攻击。同时利用光纤通道协议采用的Initiator和Target方式以及FCSAN网络的Zoning网络隔离技术,有效防止网络中非授权主机对存储设备和资源的访问,安全性很高。2.2.4大数据平台支撑硬件设计视频大数据平台按照基础支撑环境、基础平台层、数据层、服务层、应用层进行纵向分层设计,辅以数据标准规范、服务标准规范、安全保障体系提供支撑,共同支撑视频大数据平台对外提供基础资源服务、数据服务。1、基础支撑环境层基础支撑环境层是警务大数据平台及基于平台建设的应用系统的基础运行环境支撑层,包括服务器、存储、网络等等。2、数据资源层数据资源层是信息资源服务平台的主体,提供数据资源的组织、转换、增量导入、数据清洗等功能。经导入和清洗的数据资源,根据其不同的性质、数量和应用方式,将数据存放在相应的数据库系统中。数据层由以下部分组成:ETL工具:抽取生产库/资源库中的数据,使用ETL工具将数据装载至基础库Hadoop平台:(包含HadoopHDFS、Yarn、Hbase、Hive、Spark),为大数据平台提供了一个海量数据处理的基础平台软件生态系统;基于大数据架构的数据资源组织与计算:根据大数据应用要求对汇聚的数据资源进行组织、管理和高效率运算。3、接口服务层服务层提供对数据的转换和分析,以提供复杂的数据资源服务。应用系统在访问数据资源的时候,可以通过接口直接访问数据资源,也可以通过服务层所提供的复杂的,经转换、分析而得到的数据资源或统计信息。4、应用层提供各警种的业务查询、专业用户分析研判。有关系人分析、频度分析以及卡口应用。2.2.4.1硬件规划及容量规划集群规划核心数据集群由物理服务器集群组成。数据由专线接入,由数据处理集群进行数据预处理。然后将处理后的数据写入核心数据层。本次项目的大数据应用规划,采用服务器分布式存储构建结构化数据存储空间;大数据集群的规划如下:?索引服务器:大数据按照每台大概处理1亿索引;存储空间按照双副本,每服务器15TB有效空间(24盘位9GSAS),公式如下:服务器台数=MAX(总数据容量*2/(每服务器有效容量),总索引数/每台索引数)配置场景总索引数总空间容量(TB)索引服务器数量16路视频结构化+1路人脸抓拍23.8亿3.353台(9GSAS24盘位服务器)?大数据服务器:大数据的碰撞计算按照两个35W条记录碰撞,6-1S返回的性能指标估计,运算主要包含交并差分组排序统计过滤,评估服务器总数如下:服务器数量=(每分钟总处理数据量*单位数据量所需要的计算能力)*1.3/每台服务器的处理能力;每台服务器处理能力按照15万TPMC计算,处理1G数据大概需要1万TPMC,每分钟需要处理的数据量估计为12GB;大致需要1台服务器;2.2.4.2基础支撑环境层架构集群规划核心数据集群由服务器集群组成。
[显示全部]
伙伴产品清单
产品名称 功能描述
视频云+ 将立体化治安防控与精准打击有机集合,实兵巡逻、视频监控、情报研判、指挥调度、人车布控相互结合,情报与指挥联动;提供多种技战法(落脚地分析、团伙分析、以图搜图等)为公安各警种提供实战应用,达到信息惠警的目的;通过移动互联网为市民提供交通拥堵信息、治安公告、车管业务办理、疑情上报等便民服务。
华为产品清单
产品大类 产品小类 产品系列
服务器 通用服务器 FusionServer RH2288 V3机架服务器
服务器 通用服务器 FusionServer RH2288H V3机架服务器
服务器 通用服务器 FusionServer RH5885 V3机架服务器