多分类器融合的光学遥感图像目标识别算法

2019年11月Nov.摇2019COMPUTERTECHNOLOGYANDDEVELOPMENT

多分类器融合的光学遥感图像目标识别算法

姬晓飞,石宇辰

(沈阳航空航天大学自动化学院,辽宁沈阳110136)

摘摇要:光学遥感图像的多目标检测与识别一直是图像处理与分析的热点研究问题。基于单一特征单一分类器的多目标光学遥感图像分类识别算法存在识别准确率不高的问题。对此,充分利用特征与识别方法之间的适应性,提出了一种多特征多分类器融合的光学遥感图像多目标识别算法。首先对光学遥感图像的分类目标提取2种具有平移、缩放不变性的特征表示:Hog特征和Zernike特征;其次分别用3种适应性较好的分类器(BP神经网络、支持向量机(SVM)、随机森林(RF))进行分类;最后在决策级分别融合两种特征、三种分类器的概率输出,给出最终的分类结果。实验结果表明,该算法较大程度地提高了光学遥感图像多目标识别的准确性,对飞机、舰船、油罐、汽车四类多目标的识别取得了95.37%的正确识别率。

关键词:光学遥感图像;决策级融合;Hog特征;Zernike特征;支持向量机;BP神经网络;随机森林中图分类号:TP301.6摇摇摇

摇摇文献标识码:A摇摇摇摇摇摇文章编号:1673-629X(2019)11-0052-05

doi:10.3969/j.issn.1673-629X.2019.11.011

OpticalRemoteSensingImageObjectRecognitionBasedon

MultipleClassificationsFusion

(SchoolofAutomation,ShenyangAerospaceUniversity,Shenyang110136,China)

Abstract:Themulti-targetdetectionandrecognitionofopticalremotesensingimageshasalwaysbeenahottopicinimageprocessingandanalysis.Theclassificationandrecognitionalgorithmofmulti-targetopticalremotesensingimagebasedonsinglefeaturesingleclassifierhasalowrecognitionaccuracy.Forthis,anopticalremotesensingimagemulti-targetrecognitionalgorithmbasedonmulti-featureandmulti-classifierfusionisproposedbymakingfulluseoftheadaptabilitybetweenfeaturesandrecognitionmethods.Firstly,twokindsoffeatureswithtranslationandscalinginvarianceareextractedfromtheclassificationtargetofopticalremotesensingimage:HogfeatureandZernikefeature.Secondly,threekindsofbetterclassifiers(BPneuralnetwork,supportvectormachine(SVM),randomforest(RF))areusedforclassification.Finallythefinalrecognitionresultsbyusingdecisionlevelprobabilityfusionaregiven.Theex鄄perimentindicatesthatthisalgorithmimprovestheaccuracyofmulti-targetrecognitionofopticalremotesensingimagestoalargeextent,andachievesacorrectrecognitionrateof95.37%foraircraft,ship,oiltankandautomobile.

Keywords:opticalremotesensingimage;decisionfusion;Hogfeature;Zernikefeature;supportvectormachine;BPneuralnetwork;randomforest

JIXiao-fei,SHIYu-chen

1摇概摇述

处理与分析的关键技术[1]。光学遥感图像目标检测与文献[2]提出将深度学习技术应用在飞机检测中,该方法主要是通过建立深度信念网络及卷积神经网络对飞机结构模型进行检测。文献[3]提出一种基于自组

光学遥感图像的目标检测与识别一直是遥感图像

织特征映射(self-organizingfeaturemap,SOFM)网络模型的纹理特征方法,该方法通过提取光学遥感图像中局部的纹理特征来表示图像整体灰度分布特性,对单一的飞机、桥梁目标的识别率较高,但适用范围较小。文献[4]提出了一种圆周频率滤波法,利用了飞机在光学遥感图像的形状特征与灰度特征,用圆周频率滤波器对图像进行预处理,并保留滤波后幅值大的

识别技术可分为基于单目标和基于多目标2个方向。

收稿日期:2018-12-14摇摇摇摇摇摇修回日期:2019-04-16摇摇摇摇摇摇网络出版时间:2019-06-26

基金项目:辽宁省自然科学基金(201602557);辽宁省教育科学研究服务地方项目(L201708);辽宁省教育科学研究青年项目(L201745)作者简介:姬晓飞(1978-),女,副教授,硕导,研究方向为视频分析与处理、模式识别;石宇辰(1989-),男,硕士,研究方向为图像处理与模式

识别。

网络出版地址:http://kns.cnki.net/kcms/detail/61.1450.TP.20190626.0840.060.html

摇第11期摇摇摇摇摇摇摇摇摇摇摇姬晓飞等:多分类器融合的光学遥感图像目标识别算法·53·

点为飞机中心,再使用区域生长式聚类确定飞机位置。经实验总共65架飞机正确识别59架,该算法仅对飞机取得了较好的识别效果。文献[5]设计了一种复杂背景下光学遥感图像船舰目标检测方法,该方法借鉴了人眼视觉注意机制的特征,结合杂波率系数,并且通过模拟人眼视觉感知的Gabor滤波器,实现了在复杂背景下对船舰的检测,但耗时较长,通用性不强。以上研究表明,在单一目标检测识别的过程中,某一特征通常只对特定目标识别能力较强,而将同一特征应用在不同待识别目标的过程中,通常会出现特征信息丢失以及识别效果不佳的情况。如将单一特征应用在多类目标识别上容易使某一类别目标识别准确性降低。因此在多目标识别分类的过程中采用多特征融合方案可以有效提高识别率。

在多目标检测与识别领域中,文献[6]以三种飞机模型作为待识别目标,采用级联神经网络对真实场景中的多目标进行分类,实验对于三种类型的飞机有

很好的识别效果,但对其他类别目标识别的准确性不高。文献[7]设计了一种基于多特征的光学遥感图像多目标识别算法,首先提取了三种具有平移、旋转和尺度不变性的特征,分别用支持向量机进行识别并且将识别概率进行决策融合。该算法可实现4种目标的识别。由于不同分类器与不同特征的适应性存在差异,只用一种分类器进行分类融合的准确率难以进一步提高。

综上所述,文中提出一种多特征多分类器决策级融合的多目标识别算法,在特征提取过程中提取了2种具有较强平移、缩放不变性的Hog特征[8]和Zernike随机森林(RF)三种分类器进行分类,并在决策级进行概率融合。经多次实验该方法对多目标的识别实现简单,并且取得了令人满意的识别结果。

该算法的整体框架如图1所示。

特征[9],并分别用BP神经网络、支持向量机(SVM)、

BPHOG1SVM2ZerinkeRF3图1摇算法流程

摇摇算法步骤如下:

(1)特征提取。将进行实验的4类光学遥感图像

不变性的2种特征:Hog特征和Zernike特征。2.1摇Hog特征

由于遥感图像目标通常存在方向、尺度、旋转、平移等差异性较大的问题,且在外界环境中还存在背景复杂程度不同、光照强度不同等因素的干扰,因此对特征选择提出了较高的要求。方向梯度直方图(Hog)特征,是目前计算机视觉、模式识别领域很常用的特征。Hog能够较好地捕捉遥感图像中的局部形状信息,对缩放、平移以及光照强度变换都有很好的不变性。

首先针对Hog特征不具有旋转不变性的问题,对数据库中的图像都按照主轴方向进行旋转,将处理后的图像进行Hog特征的提取,就得到了方向统一的Hog特征。整个特征提取的过程如下:

(1)将数据库中的图像进行灰度化、二值化等预

分为训练集和测试集,分别提取经过旋转校正后的Hog特征和Zernike特征,使提取的两种特征具有目标的平移、缩放和旋转的不变性:的分类器进行交叉训练。

(2)训练分类器:2种特征分别与3种适应性较好(3)将测试集的特征分别送入已经训练好的分类

器得到单一特征的输出概率,进行决策级的线性概率融合,得到融合结果。

2摇多特征提取

特征提取是目标分类识别中最为重要的一步,特征提取效果的好坏将在很大程度上决定实验效果。文中选择能够适应光学遥感图像目标识别的平移、缩放

处理,然后将处理过的图像进行PCA求出主轴方向,

·摇54摇·摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇计算机技术与发展摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇第29卷

再将原图像进行主轴方向旋转,这样就得到了主方向旋转后的数据图像。整体旋转过程如图2所示。

体现全局特征,高阶矩更能突出细节特征。由于其具有旋转不变性,且对图像平移、缩放也有良好的适应性,因此广泛应用于光学遥感图像特征提取中。图2摇PCA提取图像主轴方向并旋转(2)首先用计算图像梯度[1,0,1]梯度算子对原图像做卷积。

,得到水平方向梯度分量,再用[1,0,-1]梯度算子对原图像做卷积,得到竖直方向梯度分量,再分别计算图像横坐标和纵坐标的方向梯度,计算梯度方向的值。图像中像素点(x,y)的梯度为:

{

GxG(x其中x,,,yGy))==HH((xx,+y1,+1)y)--HH((xx,-y1,-1y)y()

(1)

x点(x,y)处的水平方向梯度与垂直方向梯度和像素(x,y),Gy(x,y),H(x,y)分别表示像素

值。像素点(x,y)处的梯度幅值和梯度方向分别为:

ìïï

G(x,y)=Gxí(x,y)2+Gy(x,y)2ïïî

琢(x,y)=tan-1GGy(3)为每个细胞单元建立其梯度方向直方图x((xx,,yy))(2)

先将图像分割为若干个单元格cell,然后采用不。

同的bin的直方图来统计每个单元格的梯度信息,其中上一步所求的梯度大小信息作为投影的权值。然后把每个细胞组合成大的块(block),目的是对梯度强度做归一化处理,归一化处理能进一步对光照、阴影和边缘信息进行压缩。

经过上述步骤就可以得到Hog描述子。生成的Hog描述子,样本总数为m,目标的像素大小为100*

100。划分角度的个数由于采样过程中每个字区域的大小(bin)不同,都会对提取特征的效果有、梯度直方图不同影响。此次实验每个block大小设置为8*8,cell大小为8*8,1个cell的梯度直方图化成12个方向(cellbin的梯度直方图),计算每个cell,这样对每幅图片就形成了一个中单个像素的梯度并统计每个768维的Hog特征描述子。2.2摇Zernike矩特征

Zernike矩可以构造任意高阶矩,其中低阶矩能够Zernike多项式有奇数和偶数之分,若为奇数,则:

Zn-m若为偶数(籽,渍),=则Rmn:

(籽)cosm渍

(3)Zn-m(籽,渍)=Rmn径向多项式为:

(籽)sinm渍

(4)

Rmn(n移

-m()籽/2

)=

k=0

k!(n+(其中,m、n为非负整数且2m--1)kk)!(n-(nk)!

-籽n-2k

m2

m-k)!

(5)

>n;渍为方位角;

籽(0臆籽臆1)为半径。Zernike收敛于[-1,1]之间。

Zernike特征提取过程大体如下:

的(n(1),m选择参数时)分别为:(1,,需要确定参数-1),(1,1)n,,(2,m大小-2)。,选择

(2,

0)(4,,-5)-(2,2),4)(5,,,-(4,(3,3)--,(5,2)3),,-(4,0)(3,-1),(3,1),(3,3),1),(5,1),(4,2),(5,3),(4,4),(5,5),(5,得到的Zernike矩为复数,因此提取两个特征即幅值特。

征和相位特征,因此共40个特征。

维后为(2)17考虑到特征维数较高个主要特征,即提取了一个,对其进行17PCA维的降维Zernike,降特征。

3摇3.1摇识别算法

支持向量机

支持向量机[10-11]在解决非线性及高维特征特别是在解决小样本的问题中表现出很多优势。它是一种分类器模型,原理是寻找一个超平面对样本进行分割,分割的原则是间隔最大化,并最终转化为一个凸二次规划问题来求解,具有通用性、鲁棒性、有效性,计算简单且理论完善等优点。

通常支持向量机应用在二分类问题的判别中,文中采用一对一分类法,该方法是两种不同类别图像使用一个分类器,即将训练集构造成为T=p(p-1)/2个分类器(p个不同类别),最终求得T个判别函数。根据判别函数,对待分类目标进行投票,最终得票最多的类别即作为判别结果。当得票相同时,按照标签较小的一类作为判别结果。图3为四类样本使用一对一分类法的构造示意图。当对未知数据进行实验时,得票最多的类别即为输出的识别结果。3.2摇BP神经网络

在图像处理与模式识别领域,神经网络[12-13]是应用最为广泛的算法之一。神经网络的结构模仿生物神

摇第11期摇摇摇摇摇摇摇摇摇摇摇姬晓飞等:多分类器融合的光学遥感图像目标识别算法·55·

经网络,其中误差逆传播算法(errorbackpropagation)

A是神经网络最有代表性的算法。

BCDAVsBAVsCAVsDBVsCBVsDCVsDABCD图3摇一对一分类法结构示意

摇摇BP神经网络算法的主要思想是从后向前(反向)

决策级融合策略。该策略通过对训练集使用3种不同分类器进行训练,可以得到不同分类器对应不同特征的识别概率,决策级概率融合由以下三步实现:

(1)对所有样本提取2种适用于遥感图像的特(2)使用训练好的3种分类器对测试样本进行测(3)统计2种不同特征融合后的概率并再次进行

逐层传播输出层的误差,以间接算出隐层误差。算法主要分为两个阶段:第一阶段(正向过程)输入信息从输入层经隐层逐层计算各单元的输出值;第二阶段(反向传播过程)输出误差逐层向前算出隐层各单元的误差,并用此误差修正前层权值。在反向传播(BP)算法中通常采用梯度法修正权值,文中采用三层神经17,隐含层节点个数为8,输出层节点个数为4。3.3摇随机森林分类器

网络,Sigmoid函数作为输出函数,输入层节点个数为

征,并且对训练样本分别用3种不同分类器进行训练;

试,得出中间识别概率并进行线性概率融合,得出每种特征概率融合后的结果;

线性融合,得出多特征多分类器对应每一类别总的判别概率,将输出结果最大的一类作为最终的判别结果。

随机森林[14-15]是一种半监督的集成学习分类器,利用boot-shrap重抽样法对训练集数据进行抽样,并对每个boost-strap样本进行建模,得到一组决策树分类器组合进行投票预测。随机森林的核心是基于Bagging的集成学习方法,广泛应用于分类、回归等问题,具有准确率高、抗噪能力强、训练速度快等优点。且由于训练样本具有随机性,这就使得随机森林分类器不容易出现过拟合的情况。处理数据可以是高维数据,也可以是离散型数据,数据集无需标准化,应用范围非常广泛。随机森林算法中基底分类器的训练过程可描述为:

(1)设定训练样本数M,从中有放回地重复选取(2)随机选择特征对回归树的节点进行分裂:假

4摇实验结果

文中使用自行建立的遥感图像库对提出的算法进行测试。数据库总体分为四个类别,分别包含飞机、汽车、油罐、船舰,每类共有74幅图像,总共包含288(74*4)张图像,部分图例如图4所示。

M个样本构成新的训练集。

设共有N个特征,随机选择n个特征(n数目远远小于N),每棵决策树上每个节点的决定都是基于这些特征确定的,且在整个分类生长的过程中,n的值保持不变,每棵树都会完整成长而不进行剪枝。3.4决策级融合

由于文中提取的2种特征维度相差很大,且特征级融合存在对异构特征适应性不好等缺点,因此使用

图4摇数据库的部分目标样本图像

4.1摇3种分类器对应2种特征测试结果

将数据库分为训练集和测试集两部分,训练集每类47幅图像,共188(47*4)幅图像,测试集为每类27

·摇56摇·摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇计算机技术与发展摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇第29卷

幅图像,共108(27*4)幅图像。提取Hog特征为8个cell,8个block,12个bin的768维特征。提取的Zernike特征取PCA降维前95%能量为17维度。1、表2所示。从表1可以看出,特征为Zernike时,BP而对汽车的识别率最低。SVM分类器对船舰与汽车的识别率较高,达到96.30,但是对飞机的分类效果却不是很高。BP神经网络与SVM分类器存在互补性。随机森林分类器的分类效果最好。

别的准确性。

Zernike与Hog特征对应3种分类器的识别结果如表

5摇结束语

提出的多特征多分类器融合的遥感图像多目标识别方法,从分类器决策级融合的角度出发,采用概率线性融合的方法,很好地解决了对不同特征不同分类器适应性不同的问题。该算法实现简单,在光学遥感图像目标分类问题中具有较好的应用背景。目前实验结果还存在一定误差,下一步的研究重点将放在决策级融合的融合方法上,以进一步提高目标识别分类的准神经网络对飞机的识别率达到96.30,高于其他3类,

表1摇Zernike特征3种分类器识别结果摇

%

分类器船飞机汽车油罐BP81.4896.3074.0788.89SVM96.3088.8996.3088.89RF

92.86

100.00

92.59

92.59

摇识别率普遍高于摇从表2可以看到Zernike,选取特征Hog,且对油罐的识别正确率特征的三种分类器的能达到百分之百,对于飞机类别的识别准确率不高。对比表1和表2可以看出,Zernike特征对飞机的识别率要高于Hog特征,对油罐的识别率低于Hog特征,这表明两种识别方法存在互补性。

表2摇Hog特征3种分类器识别结果摇

%

分类器船飞机汽车油罐

BP96.3085.1992.59100.00SVM92.5988.8996.30100.00RF

92.59

96.30

92.86

100.00

4.2摇多分类器决策级融合结果

经多次实验,分别测试了两种特征在三种分类器识别的总正确率,如表3所示。

表3摇两种特征在三种分类器下识别的总正确率

分类器Zernike特征总识别率/%

Hog特征总识别率/%

BP85.1993.52SVM92.5994.44RF

94.44

95.37

摇率进行融合摇最后将两种特征分别在三种分类器总体的识别概,融合后的识别结果如表4所示。

表4摇概率融合后识别率摇%

船舰飞机汽车油罐总体正确识别率

摇92.59

100.0

92.59

96.30

95率达到了摇从实验可以看出95.37%,无论是对单类目标的识别正确率,经过决策级融合后的识别正确.37

还是总体多类目标的识别正确率都优于单特征单分类器的识别效果,并且对飞机等具有较大旋转性目标的识别率达到100%,大大提高了遥感图像多类目标识

确率。

参考文献:

[1]摇姬晓飞别方法,[秦宁丽J].沈阳航空航天大学学报.基于光学遥感图像的目标检测与分类识

,2015,32(1):23-31.[2]摇ZHANGfromremotePengsensing,NIUXinimages,DOUusingYongtransferable,etal.Airportconvolutionaldetection

neuralnetworks[C]//Proceedingsofthe2016internationaljointconferenceonneuralnetworks.Vancouver,BC,Cana鄄da:IEEE,2016:2590-2595.

[3]摇杨理分类识别算法摇斌,赵红漫,赵宗涛[J].微电子学与计算机,等.一个改进的遥感图像目标纹

,2004,21(9):

[4]摇111-113蔡红苹周频率滤波法,.

耿振伟[,J粟].摇信号处理毅.遥感图像飞机检测新方法,2007,23(4):539-543—.——圆

[5]摇[金文超D].哈尔滨.基于复杂背景的光学遥感图像舰船目标检测技术[6]摇刘三维复合不变性多目标识别摇玥,陈摇:戍哈尔滨工程大学,郭鹏毅,等.,2013.

[基于级联神经网络的实用型

J].光学学报,2000,20(7):

[7]摇919-924姬晓飞.

别算法,[秦宁丽J].智能系统学报,刘摇洋.多特征的光学遥感图像多目标识

,2016,11(5):655-662.[8]摇科技通报任摇彧,顾成成,2011,27(2):211-214.基于HOG特征和.

SVM的手势识别[J].[9]摇商立群[J].西安科技大学学报,杜亚娟.Hu矩和,2000,20(1):53-56Zernike矩在图象识别中的应用[10]张浩然,韩正之,李昌刚.支持向量机[J]..

2002,29(12):135-137.

计算机科学,[11]朱永生[J].计算机工程与应用,张优云.支持向量机分类器中几个问题的研究[12]谭永红.基于BP神经网络的自适应控制,2003,39(13):36-38[.应用,1994,11(1):84-88.J].控制理论与

[13](2):48-50戚德虎.BP.

神经网络的设计[J].计算机工程与设计,1998[14]梁琛华[J].电视技术,常摇青,2013,37(15):185-188.基于HOG随机森林分类器的人体识别[15]陈莎莎,李摇应.用于鸟声识别[.J结合时].计算机应用与软件-频纹理特征的随机森林分类器应

,2014,31(1):154-157.