(12)发明专利申请
(10)申请公布号 CN 112153334 A(43)申请公布日 2020.12.29
(21)申请号 202010965860.4(22)申请日 2020.09.15
(71)申请人 公安部第三研究所
地址 200031 上海市徐汇区岳阳路76号(72)发明人 周丽存 吴松洋 侯茜颖 钟雪霞
尚岩峰 段娜 丁正彦 袁振国 谭懿先 (74)专利代理机构 上海智信专利代理有限公司
31002
代理人 王洁 郑暄(51)Int.Cl.
H04N 7/18(2006.01)G06K 9/00(2006.01)
权利要求书2页 说明书6页 附图2页
(54)发明名称
用于安全管理的智能视频盒子设备及相应的智能视频分析方法(57)摘要
本发明涉及一种用于安全管理的智能视频盒子设备，包括视频采集设备，包括视频采集模块，用于获取实时视频流，向智能分析设备传输采集的视频数据；智能分析设备，与所述的视频采集设备相连接，用于运行多种智能视频模块方法。本发明还涉及一种基于该设备实现用于安全管理的智能视频分析方法。采用了本发明的用于安全管理的智能视频盒子设备及相应的智能视频分析方法，通过组合智能分析设备与视频采集模块，将硬件计算边缘化，充分发挥边缘计算的优势，在智能分析设备上集成多种算法模块，实现目标行为、事件、属性等信息快速收集，最终将这些信息归档、汇集至报警系统，为工业安全管理提供高效、快速、灵活的解决方案。
CN 112153334 ACN 112153334 A
权 利 要 求 书
1/2页
1.一种用于安全管理的智能视频盒子设备，其特征在于，所述的设备包括：视频采集设备，包括视频采集模块，用于获取实时视频流，向智能分析设备传输采集的视频数据；
智能分析设备，与所述的视频采集设备相连接，用于运行多种智能视频模块方法。2.根据权利要求1所述的用于安全管理的智能视频盒子设备，其特征在于，所述的智能分析设备包括：
视频解码模块，与所述视频采集模块相连接，用于视频采集模块的视频流实时解码，将解码后的帧数据供后续算法模块使用；
目标提取模块，与所述视频解码模块相连接，用于解析视频帧数据，提取帧中的感兴趣目标位置和像素，并对目标建模提取特征，得到目标粗模型；
目标跟踪模块，与所述目标提取模块相连接，用于对目标粗模型按照时序进行跟踪，计算跟踪序列和跟踪轨迹，得到目标细模型；
目标结构化描述模块，与目标跟踪模块和目标提取模块相连接，用于对目标粗模型和目标细模型进行结构化描述，得到结构化描述目标；
事件分析模块，与所述视频解码模块、目标提取模块、目标跟踪模块和目标结构化描述模块相连接，用于建立不同事件分析规则和模型，对视频帧数据、目标粗模型、目标细模型和结构化描述目标进行事件分析，得到事件分析结果；
报警功能模块，与所述视频分析模块相连接，用于对事件分析结果进行甄选，将违规、违章行为发送至报警设备。
3.根据权利要求1所述的用于安全管理的智能视频盒子设备，其特征在于，所述的视频解码模块的解码方式包括硬解码和软解码两种模式。
4.根据权利要求1所述的用于安全管理的智能视频盒子设备，其特征在于，所述的视频采集设备采用两种类型的相机设备，包括网络摄像头和本地摄像头。
5.根据权利要求1所述的用于安全管理的智能视频盒子设备，其特征在于，所述的智能分析设备采用边缘计算设备，并行加速硬件。
6.根据权利要求4所述的用于安全管理的智能视频盒子设备，其特征在于，所述的网络摄像头为RJ45接口，通过GB28181取流。
7.根据权利要求5所述的用于安全管理的智能视频盒子设备，其特征在于，所述的本地摄像头采用USB接口或CMOS串行接口，且通过文件句柄获取视频图像。
8.根据权利要求1所述的用于安全管理的智能视频盒子设备，其特征在于，所述的智能视频盒子，安装在视频采集边缘端，用于进行边缘计算，或安装在设备端，用于进行设备端的计算。
9.一种基于权利要求1所述的设备实现用于安全管理的智能视频分析方法，其特征在于，所述的方法包括以下步骤：
(1)视频解码模块对视频采集设备采集的视频数据进行解码，得到视频帧数据；(2)目标提取模块解析视频帧数据，提取帧中的目标位置和像素，并对目标建模提取特征，得到目标粗模型；
(3)建立跟踪模型，对获得的目标粗模型按照时序进行跟踪，计算跟踪序列和跟踪轨迹，得到目标细模型；
2
CN 112153334 A
权 利 要 求 书
2/2页
(4)建立目标结构化描述模块，对目标粗模型和目标细模型进行结构化描述，得到结构化描述目标；
(5)建立事件分析模块，和不同事件分析规则和模型，对视频帧数据、目标粗模型、目标细模型和结构化描述目标进行事件分析，得到事件分析结果；
(6)建立报警功能模块，对事件分析结果进行甄选，将违规和违章行为发送至报警设备。
3
CN 112153334 A
说 明 书
1/6页
用于安全管理的智能视频盒子设备及相应的智能视频分析
方法
技术领域
[0001]本发明涉及安全管理领域，尤其涉及视频分析领域，具体是指一种用于安全管理的智能视频盒子设备及相应的智能视频分析方法。
背景技术
[0002]在工业生产过程中，安全是一个高热的话题。目前在大多数工业生产过程中，还是通过工作人员现场监督或者视频监控回看等人工方式对生产过程中的安全性进行管理。上述的生产安全管理方式还少存在如下问题：通过人工的方式工作量大，效率低，成本高，事故处理及时性滞后等问题。这些问题对工业生产管理来说是极具挑战性的。[0003]随着近年来深度学习的发展，已经开始在工业生产管理过程中发挥作用。但用于工业生产管理的不够成熟，深度学习的庞大计算量是工业管理智能化的一个庞大阻碍。发明内容
[0004]本发明的目的是克服了上述现有技术的缺点，提供了一种满足高效、快速、灵活的用于安全管理的智能视频盒子设备及相应的智能视频分析方法。[0005]为了实现上述目的，本发明的用于安全管理的智能视频盒子设备及相应的智能视频分析方法如下：
[0006]该用于安全管理的智能视频盒子设备，其主要特点是，所述的设备包括：[0007]视频采集设备，包括视频采集模块，用于获取实时视频流，向智能分析设备传输采集的视频数据；[0008]智能分析设备，与所述的视频采集设备相连接，用于运行多种智能视频模块方法。[0009]较佳地，所述的智能分析设备包括：[0010]视频解码模块，与所述视频采集模块相连接，用于视频采集模块的视频流实时解码，将解码后的帧数据供后续算法模块使用；[0011]目标提取模块，与所述视频解码模块相连接，用于解析视频帧数据，提取帧中的感兴趣目标位置和像素，并对目标建模提取特征，得到目标粗模型；[0012]目标跟踪模块，与所述目标提取模块相连接，用于对目标粗模型按照时序进行跟踪，计算跟踪序列和跟踪轨迹，得到目标细模型；[0013]目标结构化描述模块，与目标跟踪模块和目标提取模块相连接，用于对目标粗模型和目标细模型进行结构化描述，得到结构化描述目标；[0014]事件分析模块，与所述视频解码模块、目标提取模块、目标跟踪模块和目标结构化描述模块相连接，用于建立不同事件分析规则和模型，对视频帧数据、目标粗模型、目标细模型和结构化描述目标进行事件分析，得到事件分析结果；[0015]报警功能模块，与所述视频分析模块相连接，用于对事件分析结果进行甄选，将违规、违章行为发送至报警设备。
4
CN 112153334 A[0016]
说 明 书
2/6页
较佳地，所述的视频解码模块的解码方式包括硬解码和软解码两种模式。
[0017]较佳地，所述的视频采集设备采用两种类型的相机设备，包括网络摄像头和本地摄像头。
[0018]较佳地，所述的智能分析设备采用边缘计算设备，并行加速硬件。[0019]较佳地，所述的网络摄像头为RJ45接口，通过GB28181取流。[0020]较佳地，所述的本地摄像头采用USB接口或CMOS串行接口，且通过文件句柄获取视频图像。
[0021]较佳地，所述的智能视频盒子，安装在视频采集边缘端，用于进行边缘计算，或安装在设备端，用于进行设备端的计算。
[0022]该基于上述设备实现用于安全管理的智能视频分析方法，其主要特点是，所述的方法包括以下步骤：[0023](1)视频解码模块对视频采集设备采集的视频数据进行解码，得到视频帧数据；[0024](2)目标提取模块解析视频帧数据，提取帧中的目标位置和像素，并对目标建模提取特征，得到目标粗模型；[0025](3)建立跟踪模型，对获得的目标粗模型按照时序进行跟踪，计算跟踪序列和跟踪轨迹，得到目标细模型；[0026](4)建立目标结构化描述模块，对目标粗模型和目标细模型进行结构化描述，得到结构化描述目标；[0027](5)建立事件分析模块，和不同事件分析规则和模型，对视频帧数据、目标粗模型、目标细模型和结构化描述目标进行事件分析，得到事件分析结果；[0028](6)建立报警功能模块，对事件分析结果进行甄选，将违规和违章行为发送至报警设备。
[0029]采用了本发明的用于安全管理的智能视频盒子设备及相应的智能视频分析方法，通过组合智能分析设备与视频采集模块，将硬件计算边缘化，充分发挥边缘计算的优势，在智能分析设备上集成多种算法模块，实现目标行为、事件、属性等信息快速收集，最终将这些信息归档、汇集至报警系统，为工业安全管理提供高效、快速、灵活的解决方案。附图说明
[0030]图1为本发明的用于安全管理的智能视频盒子设备的硬件模块图。[0031]图2为本发明的用于安全管理的智能视频盒子设备的功能模块图。[0032]图3为本发明的用于安全管理的智能视频分析方法的分析流程图。
具体实施方式
[0033]为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。
[0034]本发明的该用于安全管理的智能视频盒子设备，其中包括：[0035]视频采集设备，包括视频采集模块，用于获取实时视频流，向智能分析设备传输采集的视频数据；[0036]智能分析设备，与所述的视频采集设备相连接，用于运行多种智能视频模块方法。
5
CN 112153334 A[0037]
说 明 书
3/6页
作为本发明的优选实施方式，所述的智能分析设备包括：
[0038]视频解码模块，与所述视频采集模块相连接，用于视频采集模块的视频流实时解码，将解码后的帧数据供后续算法模块使用；[0039]目标提取模块，与所述视频解码模块相连接，用于解析视频帧数据，提取帧中的感兴趣目标位置和像素，并对目标建模提取特征，得到目标粗模型；[0040]目标跟踪模块，与所述目标提取模块相连接，用于对目标粗模型按照时序进行跟踪，计算跟踪序列和跟踪轨迹，得到目标细模型；[0041]目标结构化描述模块，与目标跟踪模块和目标提取模块相连接，用于对目标粗模型和目标细模型进行结构化描述，得到结构化描述目标；[0042]事件分析模块，与所述视频解码模块、目标提取模块、目标跟踪模块和目标结构化描述模块相连接，用于建立不同事件分析规则和模型，对视频帧数据、目标粗模型、目标细模型和结构化描述目标进行事件分析，得到事件分析结果；[0043]报警功能模块，与所述视频分析模块相连接，用于对事件分析结果进行甄选，将违规、违章行为发送至报警设备。
[0044]作为本发明的优选实施方式，所述的视频解码模块的解码方式包括硬解码和软解码两种模式。
[0045]作为本发明的优选实施方式，所述的视频采集设备采用两种类型的相机设备，包括网络摄像头和本地摄像头。
[0046]作为本发明的优选实施方式，所述的智能分析设备采用边缘计算设备，并行加速硬件。
[0047]作为本发明的优选实施方式，所述的网络摄像头为RJ45接口，通过GB28181取流。[0048]作为本发明的优选实施方式，所述的本地摄像头采用USB接口或CMOS串行接口，且通过文件句柄获取视频图像。
[0049]作为本发明的优选实施方式，所述的智能视频盒子，安装在视频采集边缘端，用于进行边缘计算，或安装在设备端，用于进行设备端的计算。
[0050]本发明的该基于上述设备实现用于安全管理的智能视频分析方法，其中包括以下步骤：[0051](1)视频解码模块对视频采集设备采集的视频数据进行解码，得到视频帧数据；[0052](2)目标提取模块解析视频帧数据，提取帧中的目标位置和像素，并对目标建模提取特征，得到目标粗模型；[0053](3)建立跟踪模型，对获得的目标粗模型按照时序进行跟踪，计算跟踪序列和跟踪轨迹，得到目标细模型；[0054](4)建立目标结构化描述模块，对目标粗模型和目标细模型进行结构化描述，得到结构化描述目标；[0055](5)建立事件分析模块，和不同事件分析规则和模型，对视频帧数据、目标粗模型、目标细模型和结构化描述目标进行事件分析，得到事件分析结果；[0056](6)建立报警功能模块，对事件分析结果进行甄选，将违规和违章行为发送至报警设备。
[0057]本发明的具体实施方式中，提供一种用于安全管理的智能视频盒子，能够在保证
6
CN 112153334 A
说 明 书
4/6页
视频准确性的前提下，提高工业管理的效率。[0058]用于安全管理的智能视频盒子，包括视频采集设备和智能分析设备，视频采集模块与智能分析设备相连，视频采集设备采集视频向智能分析设备传输。智能分析设备运行包括视频解码模块、目标提取模块、目标跟踪模块、目标结构化描述模块、事件分析模块、报警功能模块，视频解码模块与目标提取模块、目标跟踪模块、目标结构化描述模块、事件分析模块、报警功能模块相连，目标提取模块、目标跟踪模块、目标结构化描述模块、事件分析模块分别与报警模块相连。[0059]视频采集模块，用于获取实时视频流，视频采集模块可选择网络摄像头或者本地摄像头；[0060]智能分析设备，与视频采集模块相连接，用于对获取的实时视频流进行实时智能分析，智能分析算法包括视频解码模块、目标提取模块、目标跟踪模块、目标结构化描述模块、事件分析模块、报警功能模块；[0061]视频解码模块，用于视频采集模块的视频流实时解码，视频解码模块包括硬解码和软解码两种模式，将解码后的帧数据供后续算法模块使用；[0062]目标提取模块，与视频解码模块相连接，用于视频帧数据解析，提取帧中的感兴趣目标位置和像素，并对目标建模提取特征，得到目标粗模型；[0063]目标跟踪模块，与目标提取模块相连接，用于对目标粗模型按照时序进行跟踪，计算跟踪序列和跟踪轨迹，得到目标细模型；[0064]目标结构化描述模块，与目标跟踪模块、目标提取模块相连接，用于目标粗模型和目标细模型进行结构化描述，得到结构化描述目标；[0065]事件分析模块，与视频解码模块、目标提取模块、目标跟踪模块和目标结构化描述模块相连接，用于建立不同事件分析规则和模型，可对视频帧数据、目标粗模型、目标细模型和结构化描述目标进行事件分析，得到事件分析结果；[0066]报警功能模块，与视频分析模块相连接，用于对事件分析结果进行甄选，将违规、违章行为发送至报警系统。
[0067]采用本发明的一种用于安全管理的智能视频盒子，通过对工业生产过程中实时监控视频流分析，最大程度辅助管理人员进行生产过程的安全监督管理。[0068]本发明的用于安全管理的智能视频盒子的实施例，包括：[0069]视频采集模块，用于获取实时视频流，视频采集模块可选择网络摄像头或者本地摄像头。网络摄像头采用RJ45接口，通过GB28181取流；本地摄像头采用USB接口或CMOS串行接口(CSI)，通过文件句柄取视频帧；[0070]智能分析设备，与视频采集模块相连接，用于对获取的实时视频流进行实时智能分析，智能分析设备是一种边缘计算模块，可在其上运行智能分析算法，智能分析算法包括视频解码模块、目标提取模块、目标跟踪模块、目标结构化描述模块、事件分析模块、报警功能模块；
[0071]视频解码模块，用于视频采集模块的视频流实时解码；对于网络摄像头，将实时GB28181视频流推流至视频解码模块，利用视频解码模块中的硬解码或软解码方式进行解码，将解码后的帧数据保存在内存中供后续使用；对于本地摄像头，视频解码模块通过文件句柄获取实时视频帧，这些帧数据直接保存至内存中；
7
CN 112153334 A[0072]
说 明 书
5/6页
目标提取模块，与视频解码模块相连接，用于视频帧数据解析，利用深度学习检
测、分割模型，如faster rcnn,ssd,yolov3等，提取视频帧中的感兴趣目标位置坐标和像素，如行人、机动车辆、人脸等，并利用深度学习方法对目标建模提取特征，如ResNet-18等，得到目标粗模型；
[0073]目标跟踪模块，与目标提取模块相连接，利用多目标跟踪算法(如deepsort,SST等)对目标提取模块的目标进行多目标跟踪。具体地，将目标粗模型的目标与现有的目标跟踪器进行匹配；如果匹配成功则在匹配的目标跟踪器上添加该目标信息；如果匹配失败，则创建新的目标跟踪器；如果目标跟踪器超过规则限定的情况下没有匹配的目标，则删除该目标跟踪器；如此循环执行目标跟踪模块；[0074]目标结构化描述模块。当与目标跟踪模块连接时，在删除目标跟踪器时，根据最优原则选取跟踪轨迹上的最优目标，然后对该目标实施结构化描述，如目标是行人时，会实施行人上衣类型：短袖、长袖等，上衣颜色：黑、白、红、黄、蓝、绿、紫等，下衣类型：短裤、长裤、裙子等，下衣颜色：黑、白、红、黄、蓝、绿、紫等，年龄段：少年、青年、中年、老年，性别：男、女等结构化描述。当与目标提取模块相连接时，对提取的每一个目标实施结构化描述，如目标是非机动车时，会实施非机动车颜色：黑、白、红、黄、蓝、绿、紫等，非机动车类型：电动自行车、电动摩托车、自行车、三轮车，骑行人是否带头盔，骑行人性别：男、女，骑行人数等结构化描述。进一步，结构化描述模块可同时与目标跟踪模块、目标提取模块连接。[0075]事件分析模块，当与视频解码模块连接时，事件分析模块会对解码后的视频帧或者帧序列进行事件分析，如烟火识别、油箱漏油等，利用深度学习模型对视频帧或者帧序列进行识别，当发生烟火时，可实时预警发生烟火的位置。当与目标提取模块连接时，对目标提取模块的各个目标进行事件分析，如目标是行人时，可判断该行人是否有打手机行为，如一些工业生产环境中不运行接打电话，则会对行人接打手机行为进行识别。当与目标跟踪模块连接时，对跟踪器中目标轨迹行为做事件分析，如目标是行人时可进行违禁区预警，如当行人进入违禁区则识别出该目标事件。当与目标结构化描述模块相连接时，对结构化后的目标进行事件分析，如目标是机动车时，可判断机动车驾驶员是否打手机、是否佩戴安全带，在交通场景下如在机动车行驶过程中驾驶员打手机、未佩戴安全带时则识别出该目标事件；
[0076]报警功能模块，与事件分析模块相连接，用于对事件分析结果进行甄选，将违规、违章行为发送至报警系统，如事件分析模块中分析行人是否佩戴安全帽，如未佩戴，则将该目标所在视频帧、当前时间、目标坐标框、未佩戴安全帽等信息推送至报警系统平台。[0077]用于安全管理的智能视频盒子，包括视频采集设备、智能分析设备，视频采集模块与智能分析设备相连，可向智能设备传输视频数据，视频采集设备采用两种类型的相机设备包括网络摄像头、本地摄像头；智能分析设备采用边缘计算设备，在智能分析设备上运行多种智能视频模块方法。
[0078]网络摄像头采用RJ45接口，通过GB28181取流；[0079]本地摄像头采用USB接口或CMOS串行接口(CSI)，通过文件句柄取视频图像；[0080]智能分析设备采用边缘计算设备，具备并行加速硬件模块；[0081]智能视频盒子，即可以安装在视频采集边缘端，作为边缘计算，又可以安装在设备端，作为设备端的计算；
8
CN 112153334 A[0082]
说 明 书
6/6页
多种智能视频模块方法，包括视频解码模块、目标提取模块、目标跟踪模块、目标
结构化描述模块、事件分析模块、报警功能模块，包括以下步骤：[0083]步骤1、视频解码模块对视频采集设备采集的视频数据进行解码，得到视频帧数据；
[0084]步骤2、目标提取模块对步骤1中的视频帧数据解析，提取帧中的目标位置和像素，并对目标建模提取特征，得到目标粗模型；[0085]步骤3、建立跟踪模型，对步骤2中获得目标粗模型按照时序进行跟踪，计算跟踪序列和跟踪轨迹，得到目标细模型；[0086]步骤4、建立目标结构化描述模块，可对步骤2中的目标粗模型和步骤3中的目标细模型进行结构化描述，得到结构化描述目标；[0087]步骤5、建立事件分析模块，建立不同事件分析规则和模型，可对步骤1中的视频帧数据、步骤2中的目标粗模型、步骤3中的目标细模型和步骤4中结构化描述目标进行事件分析，得到事件分析结果；[0088]步骤6、建立报警功能模块，对步骤5中的事件分析结果进行甄选，将违规、违章行为发送至报警系统。
[0089]采用了本发明的用于安全管理的智能视频盒子设备及相应的智能视频分析方法，通过组合智能分析设备与视频采集模块，将硬件计算边缘化，充分发挥边缘计算的优势，在智能分析设备上集成多种算法模块，实现目标行为、事件、属性等信息快速收集，最终将这些信息归档、汇集至报警系统，为工业安全管理提供高效、快速、灵活的解决方案。[0090]在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。
9
CN 112153334 A
说 明 书 附 图
1/2页
图1
图2
10
CN 112153334 A
说 明 书 附 图
2/2页
图3
11
因篇幅问题不能全部显示，请点此查看更多更全内容