enterprise logo

顺德区公安局社会治安视频监控系统后台扩容(云平台建设)

方案概述

1 视频大数据云平台总体建设 1.1 大数据感知 动态、实时的源头数据是立体化治安防控体系的基础支撑。在人、车的活动空间(社区、道路、社会面等)通过新建、接入各种智能型感知装备和结构化数据,自动采集人、电子轨迹信息,加大公安业务数据、社会资源数据、互联网数据整合。 1.2 大数据云平台 基于大数据的技术框架,在视频专网和公安信息网上分别构建云平台基础设施平台,为上层应用提供弹性分配的云计算、云存储资源,支持多种大数据计算需要,以及海量的视频结构化处理、图片分析、人脸比对等服务,满足各警种大数据分析和存储需要。 1.3 大数据应用 将立体化治安防控与精准打击有机集合,提供多种技战法为公安各警种提供实战应用,达到信息惠警的目的。 1.4 系统功能 视频大数据云平台具有视频大数据计算、分析等功能,并对视频做结构化处理,对视频图像进行综合应用及视频大数据应用。平台自主研发,并提供相关的软件著作权登记证书复印件。(证书详细见商务文件部分) 2 云平台基础实施资源建设 扩容后本项目云平台支持不低于40路视频,人、车抓拍图片结构化,结构化数据存储时间不少于1年,支持不低于12路动态人脸布控支撑能力来进行相关存储资源、计算资源、大数据平台支撑硬件设计。 视频大数据云平台按照基础支撑环境层、数据层、服务层、应用层进行纵向分层设计,辅以数据标准规范、服务标准规范、安全保障体系提供支撑,共同支撑视频大数据云平台对外提供基础资源服务、数据服务。 2.1 基础支撑环境层 基础支撑环境层是警务大数据平台及基于平台建设的应用系统的基础运行环境支撑层,包括服务器、存储、网络等。 2.2 数据资源层 数据资源层是信息资源服务平台的主体,提供数据资源的组织、转换、增量导入、数据清洗等功能。经导入和清洗的数据资源,根据其不同的性质、数量和应用方式,将数据存放在相应的数据库系统中。 数据层由以下部分组成: ETL工具:抽取生产库/资源库中的数据,使用ETL工具将数据装载至基础库。 Hadoop平台:(包含Hadoop HDFS、Yarn、Hbase、Hive、Spark),为大数据平台提供一个海量数据处理的基础平台软件生态系统;一站式大数据处理分析平台,集成开源社区的HDFS、MapReduce、Hive、Hbase、Zookeeper、Oozie、Flume等模块,提供数据导入、数据清洗和数据抽取功能。 基于大数据架构的数据资源组织与计算:根据大数据应用要求对汇聚的数据资源进行组织、管理和高效率运算。 云平台中心的架构主要是在物理服务器、存储、网络等硬件基础上,通过服务器虚拟化、存储虚拟化形成计算服务器资源池、存储资源池、网络资源池。并结合管理调度功能,实现基础设施的虚拟化,并通过云管理平台进行资源的统一管理、分配和调度,为上层服务提供云计算基础支撑服务。 统一云资源管理平台依托于下层的网络设备、计算资源、存储资源等硬件基础设施,抽象出服务器资源池、存储资源池、网络资源池,并提供不同的资源池管理、资源监控调度、负载均衡、多租户管理等管理功能。 虚拟化资源池能够满足对CPU处理能力要求高、并发数用户数较大的业务系统、查询系统、分析系统和比对系统,在业务压力较大的时候能够快速扩展并提供足够资源供给,为业务应用提供稳定支撑。 存储虚拟化是通过将一个(或多个)目标服务或功能与其他附加的功能集成,统一提供有用的全面功能服务。存储虚拟化的优点和服务器虚拟化类似,资源可以复用,业务暂时不用的存储空间可以给其他业务使用。上层管理不用特别关注具体的存储硬件情况。 云存储要求与其对接的上层业务遵循接口规定如下: 云存储提供统一命名空间的存储系统,多种业务的数据都存储在这个统一的存储空间中,包括文件,视频,图象等多种类型的业务数据存储; 云存储采用全对称分布式架构设计,轻松实现容量扩展,满足日益发展的业务系统的存储要求,与业务需求相匹配; 容量扩展的同时,性能同步提升,避免因为数据量增多而产生的性能瓶颈; 支持在线扩容,容量扩展的同时,保证不会中断业务,并且支持多个节点批量扩容; 整系统采用集群部署和Erasure code数据保护策略,支持N+1到N+4的数据可靠性保障,以及故障自动检测、修复技术,保障系统可靠性; 云存储对外提供NAS接口,支持NFS和CIFS协议共享,适应多种应用场景,例如:支持和文件业务对接,和图片业务对接等; 每种业务对存储空间的需求不同,视频云存储支持Thin Provisioning实现空间弹性扩展,满足不同业务的存储需求,同时不会因空间定额分配造成的浪费; 针对不同业务需求,视频云存储应具有配额管理、分级存储、快照、WORM等增值特性。 对设备管理员,提供WEB UI管理工具,统一管理存储设备。 能够根据项目特点,重点关注图片处理性能、数据的可靠稳定、管理上更便捷。云存储应具备卓越的性能、安全可靠的系统、精简统一的管理,满足云需求和未来演进。

方案价值

顺德区公安局通过对社会治安视频监控系统后台扩容,建设视频大数据云平台,落实广东省公安厅关于社会治安防控体系建设工作会议精神,有计划的对重点管控小区、重点场所、街道、道路干道等进行扩展建设,不断深化本地的公安视频大数据应用,结合创新的人脸识别技术与车辆识别技术,为公安与社会民众提供多种应用新模式,有效提升公安机关对可疑行为、犯罪行为的预判预警能力以及对各类事件的快速响应水平。 通过顺德区公安局视频云平台的建设,增加了顺德公安在视频监控系统视频、图片、车辆信息、WIFI等大量数据的处理能力。 一、通过感知数据采集,建设多源大数据汇聚平台 基于视频感知和物联网技术,采集社区出入口、车站出入口及轻轨出入口等结构化数据,扩展人、车信息采集范围,以更精准的分析人员活动轨迹、同伙、出行习惯等;扩展车辆信息采集手段,包括车牌、车型、颜色、车标等信息,以更精准的分析车辆的轨迹;通过对接其他公安内部系统,采集电子轨迹信息;构建一张智能感知网,形成多源社会资源大数据采集,建设多源大数据汇聚平台。 二、基于视频处理技术,构建视频大数据云平台 基于云计算技术,包括虚拟化技术、分布式数据存储技术、编程模型、大规模数据管理技术、分布式资源管理、云计算平台管理技术,构建基础的“按需使用”以及“自动化管理和调度”云计算平台,提供海量的大数据计算能力;基于视频智能化处理技术,提供海量视频结构化处理、智能分析处理和人脸识别比对等平台级计算能力和动态扩展的智能分析服务。海量视频结构化处理能力,从视频中提取活动目标的特征信息、车辆信息、人员信息等结构化信息,并将提取到的结构化数据做视频云存储;视频智能分析处理能力,获得视频中的运动目标信息,提取语义级别的事件信息;人脸识别比对能力,将接收到的人脸图片和布控的人脸库人脸图片进行实时比对识别,对发现的嫌疑人实现提前预警。 三、基于视频大数据云平台,提供立体化治安防控应用 以“数据文化”理念为导向,推进警务信息关联共享,基于以视频为主的多源物联感知数据采集汇聚,并联动公安网上业务的数据(如人口库、车辆登记库、盗抢车辆库、前科犯罪人员库等),进行车辆、人员、案件、电磁轨迹及社会资源数据的关联串并和碰撞比对,对高危人员、车辆进行深度数据挖据,进一步放大和倍增数据价值,建立“用数据说话、用数据决策、用数据管理、用数据创新”和以实战为导向的新型社会治安立体化管控体系,实现真正意义上的“被动警务”向“主动警务”转变,实现社会治安的精准管控和精细治理。

发布日期:2019-05-16
更多该企业方案
架构说明
2.2 大数据云基础设施服务 2.2.1 总体架构设计 云数据中心的架构主要是在物理服务器、存储、网络等硬件基础上,通过服务器虚拟化、存储虚拟化形成计算服务器资源池、存储资源池、网络资源池。 统一云资源管理平台依托于下层的网络设备、计算资源、存储资源等硬件基础设施,抽象出服务器资源池、存储资源池、网络资源池,并提供不同的资源池管理、资源监控调度、负载均衡、多租户管理等管理功能。 虚拟化资源池能够满足对CPU处理能力要求高、并发数用户数较大的业务系统、查询系统、分析系统和比对系统,在业务压力较大的时候能够快速扩展并提供足够资源供给,为业务应用提供稳定支撑。 存储虚拟化是通过将一个(或多个)目标服务或功能与其他附加的功能集成,统一提供有用的全面功能服务。存储虚拟化的优点和服务器虚拟化类似,资源可以复用,业务暂时不用的存储空间可以给其他业务使用。上层管理不用特别关注具体的存储硬件情况。 2.2.2 存储资源池设计 2.2.2.1 存储规划设计 根据本次视频云存储规划设计,建议视频图像片段、卡口图片等非结构化数据存储采用统一资源池存储设计。 配置场景 总有效容量 设备备注 160路视频结构化+100路人脸抓拍 1245 云存储 云存储节点(4U,48G,含存储节点控制板管理软件) 9台 云存储后端连接交换机 48口万兆SFP+,4口40GE QSFP+) 2台 2.2.2.2 视频云存储技术要求 视频云存储需提供分布式存储解决方案。该方案面向种类繁多的文件存储上层业务,为客户提供存储多种类型业务数据的方案。该方案要求与其对接的上层业务遵循接口规定,方案的具体描述如下: ? 视频云存储提供统一命名空间的存储系统,多种业务的数据都存储在这个统一的存储空间中,包括文件,视频,图象等多种类型的业务数据存储; ?? 容量扩展的同时,性能同步提升,避免因为数据量增多而产生的性能瓶颈; ? 支持在线扩容,容量扩展的同时,保证不会中断业务,并且支持多个节点批量扩容; ? 整系统采用集群部署和Erasure code数据保护策略,支持N+1到N+4的数据可靠性保障,以及故障自动检测、修复技术,保障系统可靠性; ? 视频云存储对外提供NAS接口,支持NFS和CIFS协议共享,适应多种应用场景,例如:支持和文件业务对接,和图片业务对接等; ? 每种业务对存储空间的需求不同,视频云存储支持Thin Provisioning实现空间弹性扩展,满足不同业务的存储需求,同时不会造成空间定额分配造成的浪费; ? 针对不同业务需求,视频云存储还提供了配额管理、分级存储、快照、WORM等增值特性。 ? 对设备管理员,提供WEB UI管理工具,统一管理存储设备。 ? 扩容方式快速,节点前端和后端连线准备后,点击管理界面扩容按钮,快速识别新增容量,并存储空间自动融入统一资源池中进行规划管理,1分钟完成单节点扩容建设。 支持在线平滑扩容,60秒之内完成单节点扩容; 可以最大支持60PB存储容量扩容,满足大量视频图像长期保存的需求; 在不中断业务的情况下,实现存储空间的大规模在线扩展,存储空间的扩展方式主要有以下两种: 2.2.2.3 视频云存储组网拓扑 存储节点在系统内部通过10GE Ethernet交换机互联,再通过核心交换机连接到监控业务平台。本方案中考虑链路安全及后续扩容的方便,选用万兆光纤分别连接到核心交换机,实现节点间监控业务平台的互联。 2.2.3 计算资源池设计 该技术常用于异构存储系统的整合和统一数据管理,在实际使用中较为常见。该技术的优点: 1、与主机无关,不占用主机资源。 2、支持异构主机、异构存储设备。 3、统一不同存储设备的数据管理功能。 4、构建统一管理平台,可扩展性好。 虚拟化网络建设 在安全性考虑,存储网络采用独立网络FC。主要是: 现阶段FC SAN是主流,一方面普及广泛,性能良好,管理人员、技术人员对其都很熟悉。另一方面,FC SAN的安全性是有口皆碑的,光纤通道结构本身是一个独立的子网,具有先天的安全性。FC协议是专为数据传输开发的,特别适合于数据库等关键应用的数据存储。FC SAN在诞生之初就定位于高性能数据存储服务,带宽利用率高、传输时延很小,传输效率高。其他原因还包括: ① FC SAN是一种大数据块传输(最大2KBytes包); ② 光纤线缆不存在串扰问题: ③ 光纤线缆不存在RJ45的水晶头制作问题:由于采用了相对封闭的独立网络系统,避免大量终端用户对存储网络的直接访问所带来的恶意攻击。同时利用光纤通道协议采用的Initiator和Target方式以及FCSAN网络的Zoning网络隔离技术,有效防止网络中非授权主机对存储设备和资源的访问,安全性很高。 2.2.4 大数据平台支撑硬件设计 视频大数据平台按照基础支撑环境、基础平台层、数据层、服务层、应用层进行纵向分层设计,辅以数据标准规范、服务标准规范、安全保障体系提供支撑,共同支撑视频大数据平台对外提供基础资源服务、数据服务。 1、基础支撑环境层 基础支撑环境层是警务大数据平台及基于平台建设的应用系统的基础运行环境支撑层,包括服务器、存储、网络等等。 2、数据资源层 数据资源层是信息资源服务平台的主体,提供数据资源的组织、转换、增量导入、数据清洗等功能。经导入和清洗的数据资源,根据其不同的性质、数量和应用方式,将数据存放在相应的数据库系统中。 数据层由以下部分组成: ETL工具:抽取生产库/资源库中的数据,使用ETL工具将数据装载至基础库 Hadoop平台:(包含Hadoop HDFS、Yarn、Hbase、Hive、Spark),为大数据平台提供了一个海量数据处理的基础平台软件生态系统; 基于大数据架构的数据资源组织与计算:根据大数据应用要求对汇聚的数据资源进行组织、管理和高效率运算。 3、接口服务层 服务层提供对数据的转换和分析,以提供复杂的数据资源服务。应用系统在访问数据资源的时候,可以通过接口直接访问数据资源,也可以通过服务层所提供的复杂的,经转换、分析而得到的数据资源或统计信息。 4、应用层 提供各警种的业务查询、专业用户分析研判。有关系人分析、频度分析以及卡口应用。 2.2.4.1 硬件规划及容量规划 集群规划核心数据集群由物理服务器集群组成。数据由专线接入,由数据处理集群进行数据预处理。然后将处理后的数据写入核心数据层。 本次项目的大数据应用规划,采用服务器分布式存储构建结构化数据存储空间; 大数据集群的规划如下: ? 索引服务器: 大数据按照每台大概处理10亿索引; 存储空间按照双副本,每服务器15TB有效空间(24盘位 900G SAS) ,公式如下: 服务器台数=MAX(总数据容量* 2 /(每服务器有效容量) , 总索引数/ 每台索引数) 配置场景 总索引数 总空间容量(TB) 索引服务器数量 160路视频结构化+100路人脸抓拍 23.8亿 3.35 3台(900G SAS 24盘位服务器) ? 大数据服务器: 大数据的碰撞计算按照两个3500W条记录碰撞,6-10S返回的性能指标估计,运算主要包含交并差分组排序统计过滤,评估服务器总数如下: 服务器数量= (每分钟总处理数据量 * 单位数据量所需要的计算能力)*1.3/ 每台服务器的处理能力; 每台服务器处理能力按照150万TPMC计算,处理1G数据大概需要1万TPMC,每分钟需要处理的数据量估计为 1200GB; 大致需要10台服务器; 2.2.4.2 基础支撑环境层架构 集群规划核心数据集群由服务器集群组成。
2.2 大数据云基础设施服务 2.2.1 总体架构设计 云数据中心的架构主要是在物理服务器、存储、网络等硬件基础上,通过服务器虚拟化、存储虚拟化形成计算服务器资源池、存储资源池、网络资源池。 统一云资源管理平台依托于下层的网络设备、计算资源、存储资源等硬件基础设施,抽象出服务器资源池、存储资源池、网络资源池,并提供不同的资源池管理、资源监控调度、负载均衡、多租户管理等管理功能。 虚拟化资源池能够满足对CPU处理能力要求高、并发数用户数较大的业务系统、查询系统、分析系统和比对系统,在业务压力较大的时候能够快速扩展并提供足够资源供给,为业务应用提供稳定支撑。 存储虚拟化是通过将一个(或多个)目标服务或功能与其他附加的功能集成,统一提供有用的全面功能服务。存储虚拟化的优点和服务器虚拟化类似,资源可以复用,业务暂时不用的存储空间可以给其他业务使用。上层管理不用特别关注具体的存储硬件情况。 2.2.2 存储资源池设计 2.2.2.1 存储规划设计 根据本次视频云存储规划设计,建议视频图像片段、卡口图片等非结构化数据存储采用统一资源池存储设计。 配置场景 总有效容量 设备备注 160路视频结构化+100路人脸抓拍 1245 云存储 云存储节点(4U,48G,含存储节点控制板管理软件) 9台 云存储后端连接交换机 48口万兆SFP+,4口40GE QSFP+) 2台 2.2.2.2 视频云存储技术要求 视频云存储需提供分布式存储解决方案。该方案面向种类繁多的文件存储上层业务,为客户提供存储多种类型业务数据的方案。该方案要求与其对接的上层业务遵循接口规定,方案的具体描述如下: ? 视频云存储提供统一命名空间的存储系统,多种业务的数据都存储在这个统一的存储空间中,包括文件,视频,图象等多种类型的业务数据存储; ?? 容量扩展的同时,性能同步提升,避免因为数据量增多而产生的性能瓶颈; ? 支持在线扩容,容量扩展的同时,保证不会中断业务,并且支持多个节点批量扩容; ? 整系统采用集群部署和Erasure code数据保护策略,支持N+1到N+4的数据可靠性保障,以及故障自动检测、修复技术,保障系统可靠性; ? 视频云存储对外提供NAS接口,支持NFS和CIFS协议共享,适应多种应用场景,例如:支持和文件业务对接,和图片业务对接等; ? 每种业务对存储空间的需求不同,视频云存储支持Thin Provisioning实现空间弹性扩展,满足不同业务的存储需求,同时不会造成空间定额分配造成的浪费; ? 针对不同业务需求,视频云存储还提供了配额管理、分级存储、快照、WORM等增值特性。 ? 对设备管理员,提供WEB UI管理工具,统一管理存储设备。 ? 扩容方式快速,节点前端和后端连线准备后,点击管理界面扩容按钮,快速识别新增容量,并存储空间自动融入统一资源池中进行规划管理,1分钟完成单节点扩容建设。 支持在线平滑扩容,60秒之内完成单节点扩容; 可以最大支持60PB存储容量扩容,满足大量视频图像长期保存的需求; 在不中断业务的情况下,实现存储空间的大规模在线扩展,存储空间的扩展方式主要有以下两种: 2.2.2.3 视频云存储组网拓扑 存储节点在系统内部通过10GE Ethernet交换机互联,再通过核心交换机连接到监控业务平台。本方案中考虑链路安全及后续扩容的方便,选用万兆光纤分别连接到核心交换机,实现节点间监控业务平台的互联。 2.2.3 计算资源池设计 该技术常用于异构存储系统的整合和统一数据管理,在实际使用中较为常见。该技术的优点: 1、与主机无关,不占用主机资源。 2、支持异构主机、异构存储设备。 3、统一不同存储设备的数据管理功能。 4、构建统一管理平台,可扩展性好。 虚拟化网络建设 在安全性考虑,存储网络采用独立网络FC。主要是: 现阶段FC SAN是主流,一方面普及广泛,性能良好,管理人员、技术人员对其都很熟悉。另一方面,FC SAN的安全性是有口皆碑的,光纤通道结构本身是一个独立的子网,具有先天的安全性。FC协议是专为数据传输开发的,特别适合于数据库等关键应用的数据存储。FC SAN在诞生之初就定位于高性能数据存储服务,带宽利用率高、传输时延很小,传输效率高。其他原因还包括: ① FC SAN是一种大数据块传输(最大2KBytes包); ② 光纤线缆不存在串扰问题: ③ 光纤线缆不存在RJ45的水晶头制作问题:由于采用了相对封闭的独立网络系统,避免大量终端用户对存储网络的直接访问所带来的恶意攻击。同时利用光纤通道协议采用的Initiator和Target方式以及FCSAN网络的Zoning网络隔离技术,有效防止网络中非授权主机对存储设备和资源的访问,安全性很高。 2.2.4 大数据平台支撑硬件设计 视频大数据平台按照基础支撑环境、基础平台层、数据层、服务层、应用层进行纵向分层设计,辅以数据标准规范、服务标准规范、安全保障体系提供支撑,共同支撑视频大数据平台对外提供基础资源服务、数据服务。 1、基础支撑环境层 基础支撑环境层是警务大数据平台及基于平台建设的应用系统的基础运行环境支撑层,包括服务器、存储、网络等等。 2、数据资源层 数据资源层是信息资源服务平台的主体,提供数据资源的组织、转换、增量导入、数据清洗等功能。经导入和清洗的数据资源,根据其不同的性质、数量和应用方式,将数据存放在相应的数据库系统中。 数据层由以下部分组成: ETL工具:抽取生产库/资源库中的数据,使用ETL工具将数据装载至基础库 Hadoop平台:(包含Hadoop HDFS、Yarn、Hbase、Hive、Spark),为大数据平台提供了一个海量数据处理的基础平台软件生态系统; 基于大数据架构的数据资源组织与计算:根据大数据应用要求对汇聚的数据资源进行组织、管理和高效率运算。 3、接口服务层 服务层提供对数据的转换和分析,以提供复杂的数据资源服务。应用系统在访问数据资源的时候,可以通过接口直接访问数据资源,也可以通过服务层所提供的复杂的,经转换、分析而得到的数据资源或统计信息。 4、应用层 提供各警种的业务查询、专业用户分析研判。有关系人分析、频度分析以及卡口应用。 2.2.4.1 硬件规划及容量规划 集群规划核心数据集群由物理服务器集群组成。数据由专线接入,由数据处理集群进行数据预处理。然后将处理后的数据写入核心数据层。 本次项目的大数据应用规划,采用服务器分布式存储构建结构化数据存储空间; 大数据集群的规划如下: ? 索引服务器: 大数据按照每台大概处理10亿索引; 存储空间按照双副本,每服务器15TB有效空间(24盘位 900G SAS) ,公式如下: 服务器台数=MAX(总数据容量* 2 /(每服务器有效容量) , 总索引数/ 每台索引数) 配置场景 总索引数 总空间容量(TB) 索引服务器数量 160路视频结构化+100路人脸抓拍 23.8亿 3.35 3台(900G SAS 24盘位服务器) ? 大数据服务器: 大数据的碰撞计算按照两个3500W条记录碰撞,6-10S返回的性能指标估计,运算主要包含交并差分组排序统计过滤,评估服务器总数如下: 服务器数量= (每分钟总处理数据量 * 单位数据量所需要的计算能力)*1.3/ 每台服务器的处理能力; 每台服务器处理能力按照150万TPMC计算,处理1G数据大概需要1万TPMC,每分钟需要处理的数据量估计为 1200GB; 大致需要10台服务器; 2.2.4.2 基础支撑环境层架构 集群规划核心数据集群由服务器集群组成。
[显示全部]
伙伴产品清单
产品名称 功能描述
视频云+ 将立体化治安防控与精准打击有机集合,实兵巡逻、视频监控、情报研判、指挥调度、人车布控相互结合,情报与指挥联动;提供多种技战法(落脚地分析、团伙分析、以图搜图等)为公安各警种提供实战应用,达到信息惠警的目的;通过移动互联网为市民提供交通拥堵信息、治安公告、车管业务办理、疑情上报等便民服务。
华为产品清单
产品大类 产品小类 产品系列
服务器 通用服务器 FusionServer RH2288 V3机架服务器
服务器 通用服务器 FusionServer RH2288H V3机架服务器
服务器 通用服务器 FusionServer RH5885 V3机架服务器