一种航拍视频的运动目标检测方法[发明专利]

(12)发明专利申请

(10)申请公布号 CN 108109163 A(43)申请公布日 2018.06.01

(21)申请号 201711365258.1(22)申请日 2017.12.18

(71)申请人 中国科学院长春光学精密机械与物

理研究所

地址 130033 吉林春市经济技术开发

区东南湖大路3888号(72)发明人 聂海涛　

(74)专利代理机构 深圳市科进知识产权代理事

务所(普通合伙) 44316

代理人 赵勍毅(51)Int.Cl.

G06T 7/2(2017.01)G06T 7/215(2017.01)G06T 7/246(2017.01)

()发明名称

一种航拍视频的运动目标检测方法(57)摘要

本发明公开了一种航拍视频的运动目标检测方法。本发明的航拍视频的运动目标检测方法包括步骤：对输入视频序列进行图像匹配，得到背景补偿后的差分图像；对背景补偿后的差分图像进行能量累加，得到累加差分图像；对累加差分图像进行形态学开运算处理，去除噪声并捕捉大致目标区域；进行边缘检测求得目标图像的边缘，并对目标区域进行标注。本发明提供的航拍视频的运动目标检测方法适用于不同场景下的多运动目标检测，且检测的准确率高。

权利要求书2页 说明书10页 附图3页

CN 108109163 ACN 108109163 A

权　利　要　求　书

1/2页

1.一种航拍视频的运动目标检测方法，其特征在于，所述航拍视频的运动目标检测方法包括步骤：

对输入视频序列进行图像匹配，得到背景补偿后的差分图像；对背景补偿后的差分图像进行能量累加，得到累加差分图像；对累加差分图像进行形态学开运算处理，去除噪声并捕捉大致目标区域；进行边缘检测求得目标图像的边缘，并对目标区域进行标注。

2.根据权利要求1所述航拍视频的运动目标检测方法，其特征在于，所述步骤：对输入视频序列进行图像匹配，得到背景补偿后的差分图像具体包括步骤：

采用SURF特征点作为背景运动补偿中所需的特征点；通过网格筛选法提取出均匀分布的全局SURF特征点；对选取的特征点进行匹配，用于全局运动参数的估计；通过所求的全局运动参数进行仿射变换，求得背景补偿后的差分图像。3.根据权利要求2所述航拍视频的运动目标检测方法，其特征在于，所述对选取的特征点进行匹配，具体包括：

采用BBF算法进行SURF特征点的粗匹配；在SURF特征点的粗匹配后，通过匹配的特征点对，找出两帧图像间的一个最优的仿射矩阵，使当前帧图像上提取的特征点集合和参考帧图像上的特征点集合中的最多点对匹配；

采用PROSAC算法进一步剔除匹配特征点对中的错误匹配点对，求得两帧图像间的仿射矩阵。

4.根据权利要求3所述航拍视频的运动目标检测方法，其特征在于，所述步骤：采用BBF算法进行SURF特征点的粗匹配，包括步骤：

把参考帧图像中提取的特征点构建一个kd-tree的存储结构；

通过搜索算法依次从参考帧图像的特征点集中找到与当前帧图像每个特征点的最邻近特征点和次邻近特征点。

5.根据权利要求4所述航拍视频的运动目标检测方法，其特征在于，所述构建一个kd-tree的存储结构包括步骤：确定维k：统计所有SURF特征点描述子在每维上的方差，在个方差中找出方差最大的那一维就是维k；

确定二叉树的根结点：把所有的特征点描述子按k维上的数值从小到大的顺序排序，选择中值km处的点作为根结点；确定左子空间和右子空间：在k维上小于中值km的数据点划分为左子树，大于km的数据点被划分为右子树；对当前根节点左子树和右子树内的特征点重复根节点进行，得到左子树和右子树的下一级子空间，如此往复直到数据中只包含一个数据点。

6.根据权利要求5所述航拍视频的运动目标检测方法，其特征在于，所述搜索算法包括步骤：

在kd-tree中找出包含待匹配特征点的叶结点:从根结点出发，根据根节点的维数，把当前的根节点上的特征点作为目标点，比较目标点维上的值和待匹配特征点维上的值，若待匹配特征点维的值小于目标点维的值，则目标点移动到左子结

2

CN 108109163 A

权　利　要　求　书

2/2页

点，否则移动到右子结点，依次递归地向下搜索kd树，直到子结点为叶结点为止；

把找到的叶结点作为待匹配特征点的“当前最近点”；从“当前最近点”向上递归回溯，如果该结点保存的特征点与待匹配特征点的距离比“当前最近点”与待匹配特征点的距离更近，则把该结点保存的特征点作为“当前最近点”。

7.根据权利要求5所述航拍视频的运动目标检测方法，其特征在于，所述PROSAC算法具体的步骤包括:

根据粗匹配成功的SURF特征点对的欧式距离，按从小到大对匹配成功的特征点对进行排序；

根据设定的采样次数可以假设出满足这个模型的特征点对在排序特征点对的前n对中；

从前n对特征点集中任意抽取4对特征点对组成一个样本，通过8点法可求得匹配特征点对间对应的基础矩阵；

通过基础矩阵，计算每对匹配点到各自极线距离的平方和，若所得的距离平方和小于一个预先设定的阂值，则该匹配特征点对作为内点，并统计内点的个数；

重复上述步骤，直到满足下述条件结束程序，把结束时获得的模型参数作为特征点对最优一致性的基础矩阵。

8.根据权利要求1所述航拍视频的运动目标检测方法，其特征在于，所述步骤：对背景补偿后的差分图像进行能量累加，得到累加差分图像，具体包括:

在输入的视频序列中连续间隔抽取三帧，提取它们的特征点并筛选最优特征点；把提取的三帧图像分成三组间隔多步长帧的图像对，通过对每组图像对中的特征点匹配，进行运动背景补偿，获得背景补偿图像；

通过帧间差法对每组图像对背景补偿图像帧差，获得差分图像；然后累加三组差分图像得到累加差分图像。

9.根据权利要求1所述航拍视频的运动目标检测方法，其特征在于，所述对累加差分图像进行形态学开运算处理，具体为:

对累加差分图像先做腐蚀后做膨胀运算。

10.根据权利要求1所述航拍视频的运动目标检测方法，其特征在于，所述进行边缘检测是通过Canny算子的方式进行边缘检测。

3

CN 108109163 A

说　明　书

一种航拍视频的运动目标检测方法

1/10页

技术领域

[0001]本发明涉及图像技术领域，特别涉及一种航拍视频的运动目标检测方法。背景技术

[0002]随着计算机和信息技术的迅猛发展和普及应用，智能交通系统ITS应运而生，它是解决当下交通问题的重要途径，更是未来智能交通事业发展的主要方向。运动目标检测是智能交通系统的基本技术之一，是车辆计数、车速度、车流量和车密度这些交通流参数测量的基础。在运动目标检测中，只有从图像背景中准确地分割出车辆，才能进行运动目标的识别与跟踪，进而进行各种交通流参数的测量与分析。航拍是一种非接触式的，远距离的探测技术，随着科学技术和社会经济的不断发展，航拍技术也逐渐被用于道路上运动目标的检测。航拍视频中的运动目标检测技术的研发已成为计算机视觉、模式识别和图像处理领域备受关注的前沿课题。

[0003]基于固定摄像头的运动目标检测算法，比如背景差分法、帧差法和光流法，这些检测算法不能直接用于摄像头运动的航拍视频检测场景中，主要原因是由于摄像头的运动使得图像背景变得复杂多变，从而不能精确地检测出运动目标。[0004]现有技术公开了航拍交通视频车辆快速检测方法，此方法利用全局运动估计方法分割出背景区域与前景区域，然后结合分水岭分割技术得出运动目标，其存在使用二参数模型只模拟了航拍器的平移运动，会造成错误的全局运动估计，尤其会在复杂场景中引起较大的噪声干扰导致检测到错误的运动目标的缺陷。[0005]综上所述，基于航拍视频的运动目标检测方法的现有技术存在只适用于简单的单一场景运动目标检测，难以适用于不同场景下的多运动目标检测，检测的准确率容易受到尺度变化、复杂环境和摄像头运动的影响的缺陷，因此，研发适应不同场景的基于航拍视频的运动目标检测方法具有很高的实用价值。

发明内容

[0006]本发明旨在克服现有技术存在的缺陷，本发明采用以下技术方案：[0007]本发明实施例提供了一种航拍视频的运动目标检测方法，所述航拍视频的运动目标检测方法包括步骤：

[0008]对输入视频序列进行图像匹配，得到背景补偿后的差分图像；[0009]对背景补偿后的差分图像进行能量累加，得到累加差分图像；[0010]对累加差分图像进行形态学开运算处理，去除噪声并捕捉大致目标区域；[0011]进行边缘检测求得目标图像的边缘，并对目标区域进行标注。[0012]在一些实施例中，所述步骤：对输入视频序列进行图像匹配，得到背景补偿后的差分图像具体包括步骤：

[0013]采用SURF特征点作为背景运动补偿中所需的特征点；[0014]通过网格筛选法提取出均匀分布的全局SURF特征点；

4

CN 108109163 A[0015]

说　明　书

2/10页

对选取的特征点进行匹配，用于全局运动参数的估计；

[0016]通过所求的全局运动参数进行仿射变换，求得背景补偿后的差分图像。[0017]在一些实施例中，所述对选取的特征点进行匹配，具体包括：[0018]采用BBF算法进行SURF特征点的粗匹配；[0019]在SURF特征点的粗匹配后，通过匹配的特征点对，找出两帧图像间的一个最优的仿射矩阵，使当前帧图像上提取的特征点集合和参考帧图像上的特征点集合中的最多点对匹配；

[0020]采用PROSAC算法进一步剔除匹配特征点对中的错误匹配点对，求得两帧图像间的仿射矩阵。

[0021]在一些实施例中，所述步骤：采用BBF算法进行SURF特征点的粗匹配，包括步骤：[0022]把参考帧图像中提取的特征点构建一个kd-tree的存储结构；

[0023]通过搜索算法依次从参考帧图像的特征点集中找到与当前帧图像每个特征点的最邻近特征点和次邻近特征点。[0024]在一些实施例中，所述构建一个kd-tree的存储结构包括步骤：[0025]确定维k：统计所有SURF特征点描述子在每维上的方差，在个方差中找出方差最大的那一维就是维k；[0026]确定二叉树的根结点：把所有的特征点描述子按k维上的数值从小到大的顺序排序，选择中值km处的点作为根结点；确定左子空间和右子空间：在k维上小于中值km的数据点划分为左子树，大于km的数据点被划分为右子树；对当前根节点左子树和右子树内的特征点重复根节点进行，得到左子树和右子树的下一级子空间，如此往复直到数据中只包含一个数据点。

[0027]在一些实施例中，所述搜索算法包括步骤：

[0028]在kd-tree中找出包含待匹配特征点的叶结点:从根结点出发，根据根节点的维数，把当前的根节点上的特征点作为目标点，比较目标点维上的值和待匹配特征点维上的值，若待匹配特征点维的值小于目标点维的值，则目标点移动到左子结点，否则移动到右子结点，依次递归地向下搜索kd树，直到子结点为叶结点为止；把找到的叶结点作为待匹配特征点的“当前最近点”；从“当前最近点”向上递归回溯，如果该结点保存的特征点与待匹配特征点的距离比“当前最近点”与待匹配特征点的距离更近，则把该结点保存的特征点作为“当前最近点”。[0029]在一些实施例中，所述PROSAC算法具体的步骤包括:[0030]根据粗匹配成功的SURF特征点对的欧式距离，按从小到大对匹配成功的特征点对进行排序；根据设定的采样次数可以假设出满足这个模型的特征点对在排序特征点对的前n对中；从前n对特征点集中任意抽取4对特征点对组成一个样本，通过8点法可求得匹配特征点对间对应的基础矩阵；通过基础矩阵，计算每对匹配点到各自极线距离的平方和，若所得的距离平方和小于一个预先设定的阂值，则该匹配特征点对作为内点，并统计内点的个数；重复上述步骤，直到满足下述条件结束程序，把结束时获得的模型参数作为特征点对最优一致性的基础矩阵。

[0031]在一些实施例中，所述步骤：对背景补偿后的差分图像进行能量累加，得到累加差分图像，具体包括:

5

CN 108109163 A[0032]

说　明　书

3/10页

在输入的视频序列中连续间隔抽取三帧，提取它们的特征点并筛选最优特征点；

[0033]把提取的三帧图像分成三组间隔多步长帧的图像对，通过对每组图像对中的特征点匹配，进行运动背景补偿，获得背景补偿图像；

[0034]通过帧间差法对每组图像对背景补偿图像帧差，获得差分图像；[0035]然后累加三组差分图像得到累加差分图像。[0036]在一些实施例中，所述对累加差分图像进行形态学开运算处理，具体为:[0037]对累加差分图像先做腐蚀后做膨胀运算。[0038]在一些实施例中，所述进行边缘检测是通过Canny算子的方式进行边缘检测。[0039]本发明的技术效果：本发明公开的航拍视频的运动目标检测方法能适用于不同场景下的多运动目标检测，且检测的准确率高。附图说明

[0040]图1是根据本发明一个实施例的航拍视频的运动目标检测方法的流程示意图；[0041]图2是根据本发明一个实施例的第一组图像对的差分图像示意图；[0042]图3是根据本发明一个实施例的第二组图像对的差分图像示意图；[0043]图4是根据本发明一个实施例的第三组图像对的差分图像示意图；[0044]图5是根据本发明一个实施例的第三组图像对的累加差分图像示意图；[0045]图6是根据本发明一个实施例的第三组图像对的累加差分图像示意图；[0046]图7是根据本发明一个实施例的累加差分图像的开运算结果图；[0047]图8是根据本发明一个实施例的进行边缘检测后的结果图。

具体实施方式

[0048]为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，而不构成对本发明的。[0049]参考图1所示，本发明实施例提供了一种航拍视频的运动目标检测方法。所述航拍视频的运动目标检测方法包括步骤：[0050]对输入视频序列进行图像匹配，得到背景补偿后的差分图像；[0051]对背景补偿后的差分图像进行能量累加，得到累加差分图像；[0052]对累加差分图像进行形态学开运算处理，去除噪声并捕捉大致目标区域；[0053]进行边缘检测求得目标图像的边缘，并对目标区域进行标注。[00]在本发明的实施例中，差分图像就是目标场景在连续时间点图像相减所构成的图像,广义的差分图像定义为目标场景在时间点tk和tk+L所成图像的差别。差分图像是由目标场景在相邻时间点的图像相减得到的，从而能够得到目标场景随时间的变换。[0055]在一些实施例中，所述步骤：对输入视频序列进行图像匹配，得到背景补偿后的差分图像具体包括步骤：

[0056]采用SURF特征点作为背景运动补偿中所需的特征点；[0057]通过网格筛选法提取出均匀分布的全局SURF特征点；[0058]对选取的特征点进行匹配，用于全局运动参数的估计；

6

CN 108109163 A[0059]

说　明　书

4/10页

通过所求的全局运动参数进行仿射变换，求得背景补偿后的差分图像。

[0060]SURF特征点为加速鲁棒特征点，其能简化了二阶微分模板的构建，搞高了尺度空间的特征检测的效率。[0061]在一些实施例中，所述对选取的特征点进行匹配，具体包括：[0062]采用BBF算法进行SURF特征点的粗匹配；[0063]在SURF特征点的粗匹配后，通过匹配的特征点对，找出两帧图像间的一个最优的仿射矩阵，使当前帧图像上提取的特征点集合和参考帧图像上的特征点集合中的最多点对匹配；

[00]采用PROSAC算法进一步剔除匹配特征点对中的错误匹配点对，求得两帧图像间的仿射矩阵。

[0065]在一些实施例中，所述步骤：采用BBF算法进行SURF特征点的粗匹配，包括步骤：[0066]把参考帧图像中提取的特征点构建一个kd-tree的存储结构；

[0067]通过搜索算法依次从参考帧图像的特征点集中找到与当前帧图像每个特征点的最邻近特征点和次邻近特征点。

[0068]kd-tree是k-dimensional树的简称，是一种分割k维数据空间的数据结构。主要应用于空间关键数据的搜索(如：范围搜索和最近邻搜索)。kd-tree是二进制空间分割树的特殊的情况，其也叫kd树。[0069]在一些实施例中，所述构建一个kd-tree的存储结构包括步骤：[0070]确定维k：统计所有SURF特征点描述子在每维上的方差，在个方差中找出方差最大的那一维就是维k；[0071]确定二叉树的根结点：把所有的特征点描述子按k维上的数值从小到大的顺序排序，选择中值km处的点作为根结点；确定左子空间和右子空间：在k维上小于中值km的数据点划分为左子树，大于km的数据点被划分为右子树；对当前根节点左子树和右子树内的特征点重复根节点进行，得到左子树和右子树的下一级子空间，如此往复直到数据中只包含一个数据点。

[0072]在一些实施例中，所述搜索算法包括步骤：

[0073]在kd-tree中找出包含待匹配特征点的叶结点:从根结点出发，根据根节点的维数，把当前的根节点上的特征点作为目标点，比较目标点维上的值和待匹配特征点维上的值，若待匹配特征点维的值小于目标点维的值，则目标点移动到左子结点，否则移动到右子结点，依次递归地向下搜索kd树，直到子结点为叶结点为止；把找到的叶结点作为待匹配特征点的“当前最近点”；从“当前最近点”向上递归回溯，如果该结点保存的特征点与待匹配特征点的距离比“当前最近点”与待匹配特征点的距离更近，则把该结点保存的特征点作为“当前最近点”。[0074]在一些实施例中，所述PROSAC算法具体的步骤包括:[0075]根据粗匹配成功的SURF特征点对的欧式距离，按从小到大对匹配成功的特征点对进行排序；根据设定的采样次数可以假设出满足这个模型的特征点对在排序特征点对的前n对中；从前n对特征点集中任意抽取4对特征点对组成一个样本，通过8点法可求得匹配特征点对间对应的基础矩阵；通过基础矩阵，计算每对匹配点到各自极线距离的平方和，若所得的距离平方和小于一个预先设定的阂值，则该匹配特征点对作为内点，并统计内点的个

7

CN 108109163 A

说　明　书

5/10页

数；重复上述步骤，直到满足下述条件结束程序，把结束时获得的模型参数作为特征点对最优一致性的基础矩阵。

[0076]在一些实施例中，所述步骤：对背景补偿后的差分图像进行能量累加，得到累加差分图像，具体包括:

[0077]在输入的视频序列中连续间隔抽取三帧，提取它们的特征点并筛选最优特征点；[0078]把提取的三帧图像分成三组间隔多步长帧的图像对，通过对每组图像对中的特征点匹配，进行运动背景补偿，获得背景补偿图像；

[0079]通过帧间差法对每组图像对背景补偿图像帧差，获得差分图像；[0080]然后累加三组差分图像得到累加差分图像。[0081]在一些实施例中，所述对累加差分图像进行形态学开运算处理，具体为:[0082]对累加差分图像先做腐蚀后做膨胀运算。[0083]在一些实施例中，所述进行边缘检测是通过Canny算子的方式进行边缘检测。[0084]本发明实施例对输入视频序列进行图像匹配，得到背景补偿后的差分图像消除摄像头运动造成的影响，实现运动背景补偿，然后利用对背景补偿后的差分图像进行能量累加，得到累加差分图像的方式来加强运动目标，再然后对累加差分图像进行形态学开运算处理，去除周围环境的干扰，最后采用Canny算子进行边缘检测求的目标图像的边缘，提高了运动目标检测的准确性。

[0085]下面结合具体实施例对本发明的具体方案作进一步详细的说明。[0086]实施例1：

[0087]本发明实施例提供了一种航拍视频的运动目标检测方法。所述航拍视频的运动目标检测方法包括步骤：

[0088]S1,对输入视频序列进行图像匹配，得到背景补偿后的差分图像；[00]S2,对背景补偿后的差分图像进行能量累加，得到累加差分图像；[0090]S3,对累加差分图像进行形态学开运算处理，去除噪声并捕捉大致目标区域；[0091]S4,进行边缘检测求得目标图像的边缘，并对目标区域进行标注。[0092]本发明实施例采用SURF特征点作为背景运动补偿中所需的特征点，通过网格筛选法提取出均匀分布的全局SURF特征点，对选取的特征点进行匹配，用于全局运动参数的估计。通过所求的全局运动参数进行仿射变换，进而求得背景补偿图像。由于航拍视频中一些运动目标的相邻帧间位移变化较小，分辨率低，通过帧差法获得的差分图像中目标区域很小，很难把目标分割提取出来，因此我们采用多帧差分图像进行累积的方法，首先，在输入的视频序列中连续间隔抽取三帧，提取它们的特征点并筛选最优特征点，把提取的三帧图像分成三组间隔多步长帧的图像对，通过对每组图像对中的特征点匹配，进行运动背景补偿，获得背景补偿图像，通过帧间差法对每组图像对背景补偿图像帧差，获得差分图像。然后累加三组差分图像并结合形态开运算和Canny边缘检测的方法对目标进行分割，提取出目标区域，并在特定帧标注。[0093]1，对输入视频序列进行图像匹配，得到背景补偿后的差分图像[0094]步骤S1,对输入视频序列进行图像匹配，得到背景补偿后的差分图像，具体包括：[0095]采用SURF特征点作为背景运动补偿中所需的特征点；[0096]通过网格筛选法提取出均匀分布的全局SURF特征点；

8

CN 108109163 A[0097]

说　明　书

6/10页

对选取的特征点进行匹配，用于全局运动参数的估计；

[0098]通过所求的全局运动参数进行仿射变换，求得背景补偿后的差分图像。[0099]在SURF特征点匹配过程中，采用欧氏距离来表示两个特征点的邻近程度，把SURF特征描述子的维特征向量看作高维空间中的点，如果把SURF特征描述子的维特征向量看作高维空间中的点Ri(ri1,ri2...,ri)和Si(si1,si2...,si)分别为参考帧和当前帧特征描述子的向量值，那么两个SURF特征之间的距离采用欧氏距离d(Ri,Si)表示:

[0100]

在匹配过程中，我们采用BBF算法进行粗匹配。首先，把参考帧图像中提取的特征点构建一个kd-tree的存储结构。kd-tree的构建可以按以下步骤进行:[0102]第一步、确定维k，统计所有SURF特征点描述子在每维上的方差，在个方差中找出方差最大的那一维就是维k；[0103]第二步、确定二叉树的根结点，把所有的特征点描述子按k维上的数值从小到大的顺序排序，选择中值km处的点作为根结点；[0104]第三步、确定左子空间和右子空间，在k维上小于中值km的数据点划分为左子树，大于km的数据点被划分为右子树；[0105]第四步、对当前根节点左子树和右子树内的特征点重复根节点的过程，就可以得到左子树和右子树的下一级子空间，如此往复直到数据中只包含一个数据点。然后，通过搜索算法依次从参考帧图像的特征点集中找到与当前帧图像每个特征点的最邻近特征点和次邻近特征点。搜索算法步骤如下:[0106]第一步、在kd-tree中找出包含待匹配特征点的叶结点:从根结点出发，根据根节点的维数，把当前的根节点上的特征点作为目标点，比较目标点维上的值和待匹配特征点维上的值，若待匹配特征点维的值小于目标点维的值，则目标点移动到左子结点，否则移动到右子结点，依次递归地向下搜索kd树，直到子结点为叶结点为止；[0107]第二步、把第一步找到的叶结点作为待匹配特征点的“当前最近点”；[0108]第三步、从“当前最近点”向上递归回溯，如果该结点保存的特征点与待匹配特征点的距离比“当前最近点”与待匹配特征点的距离更近，则把该结点保存的特征点作为“当前最近点”，也就是说更新“当前最近点”。当“当前最近点”所在结点存在另一个子结点区域时，检查该结点的另一子结点对应的区域是否有距离待匹配特征点更近的点。[0109]通过搜索算法依次对第一帧图像每个特征点Ri，从第二帧图像的特征点集中找到与其最近邻特征点Sm和次邻近特征点Sn。若它们的比值小于一个设定的阀值T，则认为第一帧的这个特征点Ri和与它在第二帧图像中找到的最近邻特征点Sm匹配成功，否则，该特征点Ri匹配失败。

[0110]具体公式如下：

[0101]

[0111]

9

CN 108109163 A[0112]

说　明　书

7/10页

在SURF特征点的粗匹配后，通过匹配的特征点对，找出两帧图像间的一个最优的

仿射矩阵H，使当前帧图像上提取的特征点集合M和参考帧图像上的特征点集合M‘中的最多点对匹配，满足下式:M＝HM'

[0113]我们采用PROSAC算法进一步剔除匹配特征点对中的错误匹配点对，求得两帧图像间的仿射矩阵H。该算法的核心思想是从匹配的征点集中经过若干次的抽样和验证，获得和原始数据最一致的基本子集，得到最优的模型参数，即当前帧图像对参考帧图像的仿射矩阵H。如下式所示:

[0114]

[0115]

其中，p1＝(x1,y1)当前图像的像素点坐标，p0＝(x0,y0)表示参考帧图像的像素点

坐标。

PROSAC算法具体的步骤如下:[0117]第一步、根据粗匹配成功的SURF特征点对的欧式距离d(Ri,Si)，按从小到大对匹配成功的特征点对进行排序；[0118]第二步、根据设定的采样次数可以假设出满足这个模型的特征点对在排序特征点对的前n对中；[0119]第三步、从前n对特征点集中任意抽取4对特征点对组成一个样本，通过8点法可求得匹配特征点对间对应的基础矩阵；[0120]第四步、通过基础矩阵，计算每对匹配点到各自极线距离的平方和，若所得的距离平方和小于一个预先设定的阂值，则该匹配特征点对作为内点，并统计内点的个数；[0121]第五步、重复上述步骤，直到满足下述条件结束程序，把结束时获得的模型参数作为特征点对最优一致性的基础矩阵H。

[0122]2,对背景补偿后的差分图像进行能量累加，得到累加差分图像[0123]由于所求的相邻帧间的差分图像所凸显出来的目标太小、强度弱，而且差分图像中还包括一些噪声点，无法确定目标的准确区域。因此我们首先对背景补偿后的差分图像进行能量累加，加强运动目标。[0124]所述步骤S2：对背景补偿后的差分图像进行能量累加，得到累加差分图像，具体包括:在输入的视频序列中连续间隔抽取三帧，提取它们的特征点并筛选最优特征点；把提取的三帧图像分成三组间隔多步长帧的图像对，通过对每组图像对中的特征点匹配，进行运动背景补偿，获得背景补偿图像；通过帧间差法对每组图像对背景补偿图像帧差，获得差分图像；然后累加三组差分图像得到累加差分图像。[0125]在本实施例中，具体如下：[0126]第一步、视频序列Car 1间隔抽样三帧图像分别采用改进的SURF算法提取它们特征点，并分成三组{(Ik-2,Ik),(Ik,Ik+2),(Ik-2,Ik+2)}。[0127]第二步、对每组图像对通过BBF算法进行匹配，获得每组图像的匹配特征点对集合，通过PROSAC算法对每组图像的匹配特征点对集合去除误匹配特征点对，进而求出三组图像之间的仿射矩阵{Hk/k-2,Hk+2/k,Hk+2/k-2}。

[0116]

10

CN 108109163 A[0128]

说　明　书

8/10页

第三步、对每组图像对中第二帧图像通过仿射变换进行背景运动补偿，获得三组

背景补偿图像{Ik/k-2,Ik+2/k,Ik+2/k-2}。对每组图像对中的第二帧图像与第二帧图像背景补偿图像进行差分，获得三组图像对的差分图像{S1,S2,S3}累加三组差分图像，形成累加差分图像S＝S1+S2+S3。

[0129]参考图2-图5所示，分别为：第一组图像对的差分图像，第二组图像对的差分图像，第三组图像对的差分图像以及第三组图像对的累加差分图像。[0130]3,对累加差分图像进行形态学开运算处理，去除噪声并捕捉大致目标区域[0131]利用同一个结构元素对灰度图像先做腐蚀后做膨胀运算的处理称为灰度图像的开运算在结构元素b＝(x,y)下灰度图像f＝(x,y)的开运算定义如下:[0132]F1＝fοb＝(fΘb)⊕b

[0133]对灰度图像中某一点做腐蚀运算，就是把该点与结构元素的中心像素点相对应，计算结构元素与图像中重合区域内对应像素点的灰度差，并选取重合区域内像素点灰度差的最小值作为该点的腐蚀运算，计算公式如下：[0134](fΘb)＝min{f(s+x,t+y)-b(x,y)|(s+t),(t+y)∈Df；(x,y)∈Db}[0135]其中，Df和Db分别是f(x,y)和b(x,y)的定义域，要求x和Y在结构元素b(x,y)的定义域之内，而平移参数和(t+y)必须在(s+x)的定义域这内。[0136]腐蚀运算运算的步骤具体如下:[0137]第一步、依次将图像上的点移动到矩形结构元素的中心上；[0138]第二步、计算结构元素与图像中重合区域内对应像素点的灰度差，并选取重合区域内像素点灰度差的最小值作为该点的腐蚀运算；[0139]第三步、对原图像中所有像素点重复进行第一和第二步。[0140]当输入图像中的亮细节面积小于结构元素时，亮的效果将被削弱。灰度图像通过腐蚀处理后，边缘区域的灰度值会有有明显的降低，因此，图像中的边缘部分会向内部收缩[0141]对灰度图像中某一点做膨胀运算，就是把该点与结构元素的中心像素点相对应，计算结构元素与图像中重合区域内对应像素点的灰度和，并选取重合区域内像素点灰度和的最大值作为该点的膨胀运算，计算公式如下：[0142](f⊕b)＝max{f(s-x,t-y)-b(x,y)|(s-t),(t-y)∈Df；(x,y)∈Db}[0143]其中，Df和Db分别是f(x,y)和b(x,y)的定义域，要求x和y在结构元素b(x,y)的定义域之内，而平移参数(s-x)和(t-y)必须在f(x,y)的定义域这内。膨胀运算的步骤具体如下:[0144]第一步、依次将图像上的点移动到矩形结构元素的中心上；[0145]第二步、计算结构元素与图像中重合区域内对应像素点的灰度和，并选取重合区域内像素点灰度和的最大值作为该点的膨胀运算；[0146]第三步、对原图中所有点重复进行第一和第二步。[0147]有上述步骤可知，当输入图像中的暗细节面积小于结构元素时，暗的效果将被削弱。灰度图像通过膨胀运算处理，边缘部分向外得到了延伸。[0148]如图6所示，是累加差分图像的开运算结果图。[0149]4,进行边缘检测求得目标图像的边缘，并对目标区域进行标注

[0150]Canny算子的基本思想是先选择一个高斯滤波器对处理的图像进行平滑滤波，然后再求梯度，在边缘垂直方向寻找局部最大值并对梯度进行非极大值抑制，最后采用高低

11

CN 108109163 A

说　明　书

9/10页

两个阂值得到更准确的边缘。步骤如下:[0151]第一步、用高斯滤波器平滑图像，并求x,y方向的梯度Ex，Ey。

[0152]

[0153][01][0155]

其中，f(x,y)代表图像点(x,y)处的像素值，

为二维高斯函数。

第二步、用一阶偏导的有限差分来计算梯度和幅值M(x,y),和方向θ(x,y)，如下

式:

[0156][0157]

第三步、对梯度幅值应用非极大值抑制。非极大值抑制是指通过只保留幅值局部变化最大的点来细化幅值M(x,y)中的梯度屋脊值，生成细化的边缘；[0159]第四步、通过双阂值算法检测到边缘点，标记边缘点；[0160]第五步、然后通过标记边缘点的邻域关系进行连接，得到灰度图像的边缘检测图；[0161]第六步、在参考帧图像中把目标区域进行标注。[0162]参考图7所示，是边缘检测后的结果图。标注结果图如图8所示。从图8的目标图像标注结果图可以看出，本发明实施例提供的航拍视频的运动目标检测方法能进行运动目标位置的精确检测，且得到的目标图像准确清晰。

[0163]故本发明实施例提供的航拍视频的运动目标检测方法能适用于不同场景下的多运动目标检测，且检测的准确率高。

[01]本领域内的技术人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

[0165]结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。[0166]在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或

12

[0158]

CN 108109163 A

说　明　书

10/10页

位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的。[0167]此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。[0168]在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。[0169]在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。[0170]在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

[0171]尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

[0172]以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所作出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

13

CN 108109163 A

说　明　书　附　图

1/3页

图1

图2

14

CN 108109163 A

说　明　书　附　图

2/3页

图3

图4

图5

15

CN 108109163 A

说　明　书　附　图

3/3页

图6

图7

图8

16