一种基于深度学习的高速公路实时预警方法及系统[发明专利]

(12)发明专利申请

(10)申请公布号 CN 112802338 A(43)申请公布日 2021.05.14

(21)申请号 2020110725.9(22)申请日 2020.12.31

(71)申请人 山东奥邦交通设施工程有限公司

地址 250102 山东省济南市高新区综合保

税区港兴三路北段1号济南药谷研发平台区1号楼B座0701室(72)发明人 杨哲　王晓东　耿健　王大鹏　

孙思芹　于　袁继伟　(74)专利代理机构 济南圣达知识产权代理有限

公司 37221

代理人 张庆骞(51)Int.Cl.

G08G 1/01(2006.01)G08G 1/16(2006.01)G06K 9/00(2006.01)

权利要求书2页 说明书6页 附图1页

G06N 3/08(2006.01)

()发明名称

一种基于深度学习的高速公路实时预警方法及系统(57)摘要

提供了一种本发明属于高速公路预警领域，

基于深度学习的高速公路实时预警方法及系统。其中，基于深度学习的高速公路实时预警方法包括在智能芯片内实现，包括：获取高速公路多个方向的实时视频数据；基于智能芯片内的神经网络模型同时识别多个方向的实时视频数据，得到高速公路事件识别结果；根据高速公路事件识别结果向预警装置发出预警信号，同时将预警信号发送至后台服务器，由后台服务器发送至预警区域客户端进行行车诱导。

CN 112802338 ACN 112802338 A

权　利　要　求　书

1/2页

1.一种基于深度学习的高速公路实时预警方法，其特征在于，该方法在智能芯片内实现，包括：

获取高速公路多个方向的实时视频数据；

基于智能芯片内的神经网络模型同时识别多个方向的实时视频数据，得到高速公路事件识别结果；

根据高速公路事件识别结果向预警装置发出预警信号，同时将预警信号发送至后台服务器，由后台服务器发送至预警区域客户端进行行车诱导。

2.如权利要求1所述的基于深度学习的高速公路实时预警方法，其特征在于，所述智能芯片包括：

视频输入模块，用于接收高速公路多个方向的实时视频数据；视频处理子系统模块，用于将高速公路多个方向的实时视频数据分解为基础视频数据和扩展视频数据；

智能视频引擎模块，用于将当前扩展视频数据中的图像帧数据转化为神经网络模型相匹配的图像格式的帧数据；

神经网络加速引擎模块，用于获取格式转化后的帧数据，通过神经网络模型识别，得到高速公路车辆类别、对应事件类别及车辆轮廓坐标位置信息；

视频图形子系统模块，用于获取基础视频数据，再基于高速公路车辆类别、对应事件的类别及车辆轮廓坐标位置信息，在基础视频数据中勾画出识别高速公路车辆的轮廓框。

3.如权利要求2所述的基于深度学习的高速公路实时预警方法，其特征在于，基础视频数据保持原始视频数据的分辨率。

4.如权利要求2所述的基于深度学习的高速公路实时预警方法，其特征在于，扩展视频数据的分辨率与神经网络加速引擎模块内的神经网络模型相匹配。

5.如权利要求2所述的基于深度学习的高速公路实时预警方法，其特征在于，所述视频处理子系统模块、智能视频引擎模块、神经网络加速引擎模块和视频图形子系统模块间进行多线程并行操作；其中，视频处理子系统模块、神经网络加速引擎模块和视频图形子系统模块间进行VitoVo线程操作；智能视频引擎模块和神经网络加速引擎模块之间进行detect线程操作。

6.如权利要求5所述的基于深度学习的高速公路实时预警方法，其特征在于，在VitoVo线程操作中，从扩展视频帧数据提取帧数据，放入帧数据链表中；在detect线程操作中，从帧数据链表按顺序取出帧数据，判断该帧数据是否进行识别，并根据是否进行识别的结果定义标志位，将标志位与帧号存入标志位链表中。

7.如权利要求5所述的基于深度学习的高速公路实时预警方法，其特征在于，在VitoVo线程操作中，从识别结果链表中按顺序取出帧数据的高速公路车辆识别结果与帧号，帧数据的高速公路车辆识别结果与帧号是在识别detect线程中由神经网络加速引擎模块识别得到并被存入识别结果链表中的。

8.一种基于深度学习的高速公路实时预警系统，其特征在于，包括：视频数据获取模块，其用于获取高速公路多个方向的实时视频数据；事件识别模块，其用于基于智能芯片内的神经网络模型同时识别多个方向的实时视频数据，得到高速公路事件识别结果；

2

CN 112802338 A

权　利　要　求　书

2/2页

事件预警模块，其用于根据高速公路事件识别结果向预警装置发出预警信号，同时将预警信号发送至后台服务器，由后台服务器发送至预警区域客户端进行行车诱导。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1‑7中任一项所述的基于深度学习的高速公路实时预警方法中的步骤。

10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1‑7中任一项所述的基于深度学习的高速公路实时预警方法中的步骤。

3

CN 112802338 A

说　明　书

一种基于深度学习的高速公路实时预警方法及系统

1/6页

技术领域

[0001]本发明属于高速公路预警领域，尤其涉及一种基于深度学习的高速公路实时预警方法及系统。

背景技术

[0002]本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

[0003]由于各种不确定因素的影响，导致在高速公路实际运营过程中常常发生各种各样的交通事故，给高速公路的运营和安全管理带来了严重影响。高速公路连环相撞事故屡见不鲜，其中很多是在大雾天气时车辆未适时降速造成的。高速公路事故预警系统，是为保障高速公路行车安全而设置的，

[0004]高速公路的快速发展,为车辆运营提供了良好的行车条件,极大地改善了道路交通运输状况，给人民出行带来方便。但随之而来的交通事故也在明显增加,给国家和人民的生命财产造成了严重危害和损失。近年来，高速公路上，一次事故、重特大二次事故时有发生，给道路交通安全管理工作带来很大的压力。其中，二次事故多发，其造成的损失往往比一次事故更加严重，直接威胁到初次事故逃生者、事故救援人员和现场勘查人员的生命安全。

[0005]发明人发现，目前现有的交通事故识别速度慢，无法及时对高速公路中的交通事故进行处理，从而严重危害人民的生命财产。发明内容

[0006]为了解决上述背景技术中存在的至少一项技术问题，本发明提供一种基于深度学习的高速公路实时预警方法及系统，其能够快速识别高速公路中的交通事故，能够及时对高速公路中的交通事故进行处理。[0007]为了实现上述目的，本发明采用如下技术方案：

[0008]本发明的第一个方面提供一种基于深度学习的高速公路实时预警方法。[0009]一种基于深度学习的高速公路实时预警方法，该方法在智能芯片内实现，包括：[0010]获取高速公路多个方向的实时视频数据；

[0011]基于智能芯片内的神经网络模型同时识别多个方向的实时视频数据，得到高速公路事件识别结果；

[0012]根据高速公路事件识别结果向预警装置发出预警信号，同时将预警信号发送至后台服务器，由后台服务器发送至预警区域客户端进行行车诱导。[0013]作为一种实施方式，所述智能芯片包括：[0014]视频输入模块，用于接收高速公路多个方向的实时视频数据；[0015]视频处理子系统模块，用于将高速公路多个方向的实时视频数据分解为基础视频数据和扩展视频数据；

4

CN 112802338 A[0016]

说　明　书

2/6页

智能视频引擎模块，用于将当前扩展视频数据中的图像帧数据转化为神经网络模

型相匹配的图像格式的帧数据；[0017]神经网络加速引擎模块，用于获取格式转化后的帧数据，通过神经网络模型识别，得到高速公路车辆类别、对应事件类别及车辆轮廓坐标位置信息；[0018]视频图形子系统模块，用于获取基础视频数据，再基于高速公路车辆类别、对应事件的类别及车辆轮廓坐标位置信息，在基础视频数据中勾画出识别高速公路车辆的轮廓框。

[0019]作为一种实施方式，基础视频数据保持原始视频数据的分辨率。[0020]上述技术方案的优点在于，这样能够保障与原始数据数据一致，能够更准确地将后期识别出的高速公路车辆轮廓框还原至原始视频数据中。[0021]作为一种实施方式，扩展视频数据的分辨率与神经网络加速引擎模块内的神经网络模型相匹配。

[0022]上述技术方案的优点在于，这样能够与神经网络模型相匹配，为神经网络模型提供数据基础。

[0023]作为一种实施方式，所述视频处理子系统模块、智能视频引擎模块、神经网络加速引擎模块和视频图形子系统模块间进行多线程并行操作；其中，视频处理子系统模块、神经网络加速引擎模块和视频图形子系统模块间进行VitoVo线程操作；智能视频引擎模块和神经网络加速引擎模块之间进行detect线程操作。[0024]上述技术方案的优点在于，并行线程操作，能够提高视频数据的处理效率，保障高速公路车辆识别的实时性。[0025]作为一种实施方式，在VitoVo线程操作中，从扩展视频帧数据提取帧数据，放入帧数据链表中；在detect线程操作中，从帧数据链表按顺序取出帧数据，判断该帧数据是否进行识别，并根据是否进行识别的结果定义标志位，将标志位与帧号存入标志位链表中。[0026]作为一种实施方式，在VitoVo线程操作中，从识别结果链表中按顺序取出帧数据的高速公路车辆识别结果与帧号，帧数据的高速公路车辆识别结果与帧号是在识别detect线程中由神经网络加速引擎模块识别得到并被存入识别结果链表中的。[0027]上述技术方案的优点在于，利用标志位检测相应线程，保障相应线程中视频图像处理的顺序，避免视频图像的遗漏。

[0028]本发明的第二个方面提供一种基于深度学习的高速公路实时预警系统。[0029]一种基于深度学习的高速公路实时预警系统，包括：[0030]视频数据获取模块，其用于获取高速公路多个方向的实时视频数据；[0031]事件识别模块，其用于基于智能芯片内的神经网络模型同时识别多个方向的实时视频数据，得到高速公路事件识别结果；[0032]事件预警模块，其用于根据高速公路事件识别结果向预警装置发出预警信号，同时将预警信号发送至后台服务器，由后台服务器发送至预警区域客户端进行行车诱导。[0033]本发明的第三个方面提供一种计算机可读存储介质。[0034]一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于深度学习的高速公路实时预警方法中的步骤。[0035]本发明的第四个方面提供一种计算机设备。

5

CN 112802338 A[0036]

说　明　书

3/6页

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的

计算机程序，所述处理器执行所述程序时实现如上述所述的基于深度学习的高速公路实时预警方法中的步骤。

[0037]与现有技术相比，本发明的有益效果是：

[0038]本发明基于获取高速公路多个方向的实时视频数据，基于智能芯片内的神经网络模型同时识别多个方向的实时视频数据，能够快速准确地得到高速公路事件识别结果；根据高速公路事件识别结果向预警装置发出预警信号，同时将预警信号发送至后台服务器，由后台服务器发送至预警区域客户端进行行车诱导，提高了车辆相应事件的处理结果。[0039]本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。附图说明

[0040]构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

[0041]图1是本发明实施例的基于深度学习的高速公路实时预警方法流程图；[0042]图2是本发明实施例的基于深度学习的高速公路实时预警系统结构示意图。具体实施方式

[0043]下面结合附图与实施例对本发明作进一步说明。[0044]应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

[0045]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。[0046]实施例一[0047]如图1所示，本实施例的基于深度学习的高速公路实时预警方法，该方法在智能芯片内实现，包括：[0048]S101：获取高速公路多个方向的实时视频数据。[0049]例如：获取高速公路的四个方向的实时视频数据。[0050]S102：基于智能芯片内的神经网络模型同时识别多个方向的实时视频数据，得到高速公路事件识别结果。[0051]在本实施例中，所述智能芯片包括：[0052]视频输入模块，用于接收高速公路多个方向的实时视频数据；[0053]视频处理子系统模块，用于将高速公路多个方向的实时视频数据分解为基础视频数据和扩展视频数据；[00]智能视频引擎模块，用于将当前扩展视频数据中的图像帧数据转化为神经网络模型相匹配的图像格式的帧数据；

6

CN 112802338 A[0055]

说　明　书

4/6页

神经网络加速引擎模块，用于获取格式转化后的帧数据，通过神经网络模型识别，

得到高速公路车辆类别、对应事件类别及车辆轮廓坐标位置信息；[0056]视频图形子系统模块，用于获取基础视频数据，再基于高速公路车辆类别、对应事件的类别及车辆轮廓坐标位置信息，在基础视频数据中勾画出识别高速公路车辆的轮廓框。

[0057]在具体实施中，为了保障后期数据处理的准确性，视频输入模块、视频处理子系统模块、智能视频引擎模块、神经网络加速引擎模块和视频图形子系统模块均在接收启动命令后启动并同时均进行初始化操作。[0058]在初始化操作过程中，神经网络加速引擎模块的初始化包括加载特定格式的已经训练好的神经网络模型。在加载前，需要提前将计算机中训练好的神经网络模型进行格式转化，转化为神经网络加速引擎模块可加载的特定格式，提高了视频图像数据处理的效率。[0059]作为一种具体实施方式，神经网络模型的训练过程为：[0060]采集不同场景下的包含待检测高速公路车辆的图片，将图片进行统一化处理，对待检测高速公路车辆类别及对应事件的类别进行标注，形成样本集；样本集分为训练集与测试集；

[0061]选择训练集合的一个样本(Ai Bi)；其中，Bi为数据，Ai为标签；[0062]送入网络，计算网络的实际输出Y；此时网络中的权重都是随机的；[0063]计算误差D＝Bi‑Y(预测值Bi与实际值Y的差)；[00]根据误差D调整权值矩阵W；[0065]对每个样本重复上述过程，直到对整个训练集来说，误差不超过规定范围。[0066]在本实施例中，场景包括但不限于白天、夜晚、雨天、雪天、雾天等。[0067]本实施例中采用yolov3神经网络模型。Caffe框架进行模型训练。与前端芯片支持深度学习框架caffe一致，并将其转化为神经网络加速引擎模块能够支持的格式。[0068]此处需要说明的是，神经网络模型也可为其他现有的网络结构，本领域技术人员可根据实际情况来具体选择，此处不再详述。[0069] Processor Interface，移动产例如：视频输入模块通过MIPI(Mobile Industry业处理器接口)接收摄像头拍摄的实时视频数据，对接收到的原始视频图像数据进行处理，实现视频数据的采集；视频输入模块将接收到的数据存入到指定的内存区域。[0070]其中，基础视频数据保持原始视频数据的分辨率。扩展视频数据的分辨率与神经网络加速引擎模块内的神经网络模型相匹配。[0071]这样能够保障与原始数据数据一致，能够更准确地将后期识别出的高速公路车辆轮廓框还原至原始视频数据中，扩展视频数据的分辨率能够与神经网络模型相匹配，为神经网络模型提供数据基础。[0072]在本实施例中，当前扩展视频数据中的图像帧数据为yuv格式，本实施例的神经网络模型相匹配的图像格式为rgb格式。[0073]具体地，神经网络加速引擎模块用于获取格式转化后的帧数据，通过神经网络模型识别，得到高速公路车辆类别、对应事件类别及车辆轮廓坐标位置信息。[0074]具体地，视频图形子系统模块用于获取基础视频数据，再基于高速公路车辆类别及对应事件的类别及轮廓四点坐标位置信息，在基础视频数据中勾画出识别高速公路车辆

7

CN 112802338 A

说　明　书

5/6页

的轮廓框。

[0075]具体地，所述视频处理子系统模块、智能视频引擎模块、神经网络加速引擎模块和视频图形子系统模块间进行多线程并行操作；其中，视频处理子系统模块、神经网络加速引擎模块和视频图形子系统模块间进行VitoVo线程操作；智能视频引擎模块和神经网络加速引擎模块之间进行detect线程操作。这样并行线程操作，能够提高视频数据的处理效率，保障高速公路车辆识别的实时性。[0076]在VitoVo线程中：

[0077]视频处理子系统模块将视频输入模块采集的视频数据分解为基础视频数据和扩展视频数据后，从扩展视频帧数据提取帧数据，放入帧数据链表中；[0078]从标志位链表中按顺序取出帧数据的标志位与帧号，帧数据的标志位是在识别detect线程中被存入标志位链表中的；

[0079]标志位代表着该帧数据是否用于高速公路车辆识别；因为在神经网络加速引擎模块中的高速公路车辆识别帧率小于视频输入模块对视频数据的采样帧率，在本实施例中采用抽帧识别的方式，用标志位标记帧数据是否被用于高速公路车辆识别；

[0080]从识别结果链表中按顺序取出帧数据的高速公路车辆识别结果与帧号，帧数据的高速公路车辆识别结果与帧号是在识别detect线程中由神经网络加速引擎模块识别得到

识别结果包括高速公路车辆类别与车辆轮廓坐标位置信息；并被存入识别结果链表中的；

[0081]视频图形子系统模块获取基础视频数据，在基础视频数据中根据神经网络加速引擎模块得到的轮廓四点坐标位置信息画出识别高速公路车辆的轮廓框；[0082]视频输出模块输出带有识别高速公路车辆轮廓框的视频图像数据。[0083]识别detect线程中，

[0084]从帧数据链表按顺序取出帧数据，判断该帧数据是否进行识别，并根据是否进行识别的结果定义标志位，将标志位与帧号存入标志位链表中；

[0085]采用智能视频引擎模块将输入图像格式的帧数据转化为模型所需图像格式的帧数据，

[0086]采用神经网络加速引擎模块获取格式转化后的帧数据，通过神经网络模型识别，得到高速公路车辆类别、对应事件类别及车辆轮廓坐标位置信息；将高速公路车辆类别及对应事件的类别与车辆轮廓坐标位置信息与帧号存入识别结果链表中。[0087]S103：根据高速公路事件识别结果向预警装置发出预警信号，同时将预警信号发送至后台服务器，由后台服务器发送至预警区域客户端进行行车诱导。[0088]其中，VitoVo线程：输入到输出线程。detect线程：物体识别检测线程。[00]本实施例还能够将智能路况感知云联动预警，加快事故预警、发现、处理的进度，减少和避免一次交通事故的发生，杜绝二次事故的发生，进而减少或避免国家和人民的生命财产的损失。[0090]实施例二[0091]如图2所示，本实施例提供了一种基于深度学习的高速公路实时预警系统，其包括：

[0092]视频数据获取模块，其用于获取高速公路多个方向的实时视频数据；[0093]事件识别模块，其用于基于智能芯片内的神经网络模型同时识别多个方向的实时

8

CN 112802338 A

说　明　书

6/6页

视频数据，得到高速公路事件识别结果；[0094]事件预警模块，其用于根据高速公路事件识别结果向预警装置发出预警信号，同时将预警信号发送至后台服务器，由后台服务器发送至预警区域客户端进行行车诱导。[0095]此处需要说明的是，本实施例的基于深度学习的高速公路实时预警系统中的各个模块，与实施例一中的基于深度学习的高速公路实时预警方法中的各个步骤一一对应其具体实施过程相同，此处不再累述。[0096]实施例三

[0097]本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的基于深度学习的高速公路实时预警方法中的步骤。[0098]实施例四

[0099]本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的基于深度学习的高速公路实时预警方法中的步骤。[0100]本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。[0101]本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。[0102]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

[0103]这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

[0104]本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read‑Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

[0105]以上所述仅为本发明的优选实施例而已，并不用于本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

9

CN 112802338 A

说　明　书　附　图

1/1页

图1

图2

10