中南大学学报(自然科学版)
JournalofCentralSouthUniversity(ScienceandTechnology)
Vol.50No.7
Jul.2019
DOI:10.11817/j.issn.1672-7207.2019.07.013
基于视觉显著特征的光学与SAR影像快速粗配准方法
华丽1，徐川2，眭海刚2
(1.华中农业大学资源与环境学院，湖北武汉，430070；2.武汉大学测绘遥感信息工程国家重点实验室，湖北武汉，430079)
摘要：在经典的Itti模型基础上，结合纹理特征及SAR影像显著目标的灰度特性，TW−Itti视觉显著模型能快速精确地反映显著地物的范围，获取显著区域。在显著区域内，利用水平集分割提取显著目标，通过形状曲线匹配算法对显著目标进行配准。研究结果表明：与经典的Itti模型相比，TW−Itti模型得到的显著区域目标整体更连贯，边缘细节更丰富，目标区域更准确，提高了后续影像粗配准的鲁棒性。同时，配准效率得到显著提高。关键词：视觉显著特征；合成孔径雷达影像；影像配准；水平集；形状曲线中图分类号：P237
文献标志码：A
文章编号：1672-7207(2019)07-1602-09
FastcoarseregistrationmethodofopticalandSARimagesbasedon
visualsaliencyfeature
HUALi1,XUChuan2,SUIHaigang2
(1.SchoolofResourceandEnvironment,HuazhongAgriculturalUniversity,Wuhan430070,China;
2.StateKeyLaboratoryofInformationEngineeringinSurveying,MappingandRemoteSensing,WuhanUniversity,
Wuhan430079,China)
Abstract:CombiningtexturefeaturesandgraylevelcharacteristicsofsalienttargetsinSAR(Syntheticapertureradar)images,onthebasisofclassicalIttimodel,TW−Ittivisualsaliencymodelcanquicklyandaccuratelyreflecttherangeofsalientobjects,andthenobtainsalientregions.Insalientregions,salienttargetswereextractedbylevelsetsegmentation,andregisteredbyshapecurvematchingalgorithm.Theresultsshowthat,comparedwiththeclassicalIttimodel,theTW−Ittimodelobtainsmorecoherent,richeredgedetailsandmoreaccuratetargetarea,whichimprovestherobustnessofsubsequentimageroughregistration.Atthesametime,theregistrationefficiencyofthismethodissignificantlyimproved.
Keywords:visualsaliencyfeature;syntheticapertureradarimage;imageregistration;levelset;shapecurve
随着卫星遥感技术的发展，数据获取的手段不断丰富，如何有效集成和融合处理多传感器、多分辨率、多光谱和多时相的遥感数据已成为现阶段遥感领域研究的热点与重点，而多源影像配准则是一个迫切需要解决的核心问题。合成孔径雷达(synthetic
收稿日期：2018−10−25；修回日期：2019−01−20
apertureradar，SAR)数据具有全天时、全天候、能穿透地表云雾等特点，它能克服光学传感器受天气影响大的缺点，有利于发挥各自的信息优势。但是，二者完全不同的成像机理决定光学影像与SAR影像存在辐射和几何差异，增加影像配准的难度，导致SAR
基金项目(Foundationitem)：国家重点研发计划项目(2016YFB0502600)；国家自然科学基金资助项目(41601443)(Project
(2016YFB0502600)supportedbytheNationalKeyResearchandDevelopmentProgramofChina；Project(41601443)supportedbytheNationalNaturalScienceFoundationofChina);
通信作者：徐川，博士，副研究员，从事SAR影像目标提取、影像配准等研究；E-mail：xc992002@foxmail.com
第7期华丽，等：基于视觉显著特征的光学与SAR影像快速粗配准方法
1603
影像和光学影像的配准成为二者信息有效融合的“瓶颈”。当前绝大部分光学与SAR影像配准方法都需要选择控制点或需要粗配准条件，不是全自动化处理，难以满足诸如灾害应急、军事应用等海量遥感数据的快速甚至实时处理需求。针对上述问题，本文旨在提出一种不需要任何初始条件的，全自动的光学与SAR影像快速粗配准方法。光学与SAR影像配准的方法可分为基于灰度的配准方法]和基于特征的配准方法。基于灰度的配准方法主要包括相关法[1]和互信息方法[2−3]，利用影像的灰度信息作为基准进行配准，而不用考虑显著的特征。但是，由于SAR影像和光学影像的成像机理差异较大，导致2种影像的灰度之间存在复杂的关系，因此，大多基于灰度的配准方法难以得到令人满意的配准结果。相比之下，基于特征的配准方法主要包括基于点[4−6]、线[7−8]、面[9]等几何特征配准方法以及混合特征配准方法[10]
，它并不直接作用于图像灰度，表达更高层的图像信息，这一特性导致基于特征的配准方法对图像的灰度变化、图像变形以及遮挡都有较强的适应能力，更适合于异源遥感影像配准[11]。同时，通过对图像中关键信息的提取，可以大大减少匹配过程的计算量。一般认为全局和局部特征对目标的感知和识别都是非常重要的，全局特征一般用来进行粗略匹配，而局部特征则可以提供更为精确的识别信息[12]。但是，如果存在某种显著的局部特征，那么，此局部特征会首先被用来确定目标，如河流、湖泊、水库、道路、机场跑道、规则建筑等。这些地物在不同的成像波段、分辨率和模式下均能保持稳定。在可见光波段成像时，图像能反映地物真实的颜色和亮度信息，这些标志性地物在灰度特性上通常与周围地物有显著的区别，可以轻易区分。在SAR传感器成像时，这些地物的几何结构、表面粗糙度、介电常数和电导率等结构特性和电磁散射特性与周围地物也有很大区别，可以轻易区分。因此，河流、湖泊、规则建筑等标志性地物在成像特性上与周围地物有明显区别，可以用于光学与SAR影像的配准。基于此思想，本文提出了一种基于显著特征的影像快速粗配准方法，主要贡献体现在以下3个方面：1)针对经典的Itti模型[13]没有考虑SAR影像的特性，结合纹理特征及SAR影像显著目标的灰度特性，提出了一种TW−Itti(Textureweight−Itti)视觉显著模型，并基于此模型提取影像的显著区域，该方法能快速精确地反映显著地物的范围，进而获取显著特征。2)对水平集分割中的零水平集初始化函数进行了改进，利用显著区域轮廓对零水平集函数进行初始化，充分考虑目标的灰度特性与空间位置。3)对形状曲线匹
配方法的采样点的选择进行改进，不再以固定的角度
θ为间隔进行采样，而采用设定采样点数m，以周长的1
m
为间距对区域的外边界进行取样，它既很好地描述目标区域的外在形状特征，又保持旋转、缩放和平移的不变性。
1
基于TW−Itti视觉注意模型的显著区域提取
图1所示为基于视觉显著特征的快速粗配准方法
流程。首先，利用Itti模型和TW−Itti模型分别在光学与SAR影像上获取视觉显著图，得到视觉显著图后，利用OTSU算法对该显著图进行二值分割，可以获得疑似目标区域(suspectedwaterregion，SWR)，通过连通区域跟踪算法，可获得该SWR区域的边界。假设该边界为φ0，则可将此边界φ0作为零水平集函数，
图1
基于视觉显著特征的快速粗配准
Fig.1
Fastcoarseregistrationbasedonvisualsalientfeatures
1604
中南大学学报(自然科学版)第50卷
分别对光学与SAR影像进行水平集分割，获得分割的面目标集合Ao和As。分别对集合Ao和As中的面目标计算面积，选择面积最大且形状规则的前10个面目标集合{Ao1,Ao2,⋯,Ao10}和{As1,As2,⋯,As10}，两两进行形状相似性判断，如存在相似的同名面目标，则将其质心点作为同名匹配点。1.1
经典的Itti视觉注意模型
经典的Itti模型包含3个基本的信息处理模块：特征图、显著图和胜者全取(winner−takes−all，WTA)网络。其操作过程如下：1)根据特征整合理论使用不同尺度的高斯差函数对图像的不同特征(例如颜色、亮度、方向)滤波，得到的各个特征的响应形成特征图；2)将这些特征图融合为1幅显著图，引导视觉注意过程，显著图中的显著值反映各个位置视觉显著性；3)显著值控制图像中各个位置的相互竞争，显著值大的位置成为注意焦点；4)通过对注意焦点的返回抑制实现注意焦点的转移。1.1.1特征图生成
第1步是进行多尺度分解，利用二元高斯金字塔将影像分解成9个尺度，获取亮度分量金字塔I(σ),σ∈[0,1,⋯,8]。其中，σ为尺度；I为归一化的红(r)、绿(g)、蓝(b)这3个颜色分量，
I=r+g+b3
(1)
由于简单的归一化有局限性，可按如下式对红、绿和蓝颜色分量重新定义，同时增加黄色分量：
ìï=r-
g+bïRï2ïïG=g-r+bí2ï(2)ïïB=b-r+g2
ïïî
Y=r+g|r2--g|2式中：R，G，B和Y分别为红、绿、蓝和黄色分量。
结合二元高斯金字塔，对上述的4个颜色分量进行多尺度分解，分别得到颜色分量金字塔R(σ)，G(σ)，B(σ)和Y(σ)。
Gabor函数有很好的方向选择性，因此，使用Gabor滤波器对归一化颜色分量RMS=0.896进行卷积以提取方向特征。二维的Gabor滤波函数如下式：
gλ,θ,ε,γ(x,y)=exp{-[(xcosθ+ysinθ)2+
γ2(ycosθ-xsinθ)2]/(2ε2)}⋅
cos[2π⋅(xcosθ+ysinθ)/λ+φ]
(3)
式中：λ为波长；θ为方位角；ϕ为相位移；ε为标准差；γ为方向曲率。
该模型通过对归一化颜色分量RMS=0.896进行
0∘,45∘,90∘,135∘共4个方向的Gabor滤波后得到方向
金字塔，记为O(σ,θ)，其中σ∈[0,1,⋯,8]表示图像尺度，θ∈{0∘,45∘,90∘,135∘}表示4个方向。
至此，可以得到1个亮度分量金字塔δ∈(0,1)(由9张特征子图构成)，4个颜色分量金字塔(由4×9=36张特征子图构成)和4个方向分量金字塔O(σ,θ)(由4×9=36张特征子图构成)。
得到上述多尺度特征子图后，利用“中央周边差”机制对这些特征子图做运算，生成对应的特征图。该机制定义，作为中央的特征图尺度范围c∈{2,3,4}，作为周边的特征图尺度范围s=c+δ,δ∈(3,4)。因此，就产生(2-3，2-4，3-6，3-7，4-7，4-8)这6种对比关系，将原始的9层金字塔缩小为6层，这样，就在使用更少的特征子图的同时利用多尺度信息。针对亮度特征，利用式(4)对亮度特征子图进行“中央周边差”运算，得到6张亮度特征图。
I(c,s)=|I(c)⊝I(s)|
(4)
式中：⊝为用定义为中央的特征子图减去定义为周边的特征子图。因为中央特征图与周边特征图的尺度不一样，所以，采用线性插值的方法将周边特征图扩大到与中央特征图同样的大小，再对它们做减法运算。
颜色特征图的计算如式(5)和(6)所示。RG(c,s)=|(R(c)−G(c))⊝(G(s)−R(s))|(5)BY(c,s)=|(B(c)−Y(c))⊝(Y(s)−B(s))|
(6)
使用红绿、黄蓝这2对颜色通道来代表颜色特征图，这样就得到红绿、黄蓝这2对颜色通道，各6张特征子图，总共12张颜色特征图。方向特征图的计算如式(7)所示，对4个方向的金字塔都进行中央周边差计算，可得到24张方向特征图。
O(c,s,θ)=|(O(c,θ)⊝(O(s,θ)|
(7)
1.1.2显著图生成
ITTI等[13]提出一个特征图归一化算子N(⋅)，该算子可以增强显著峰较少的特征图，同时削弱存在大量显著峰的特征图。具体计算如下。
亮度显著图：
-I=⊕44
c=2颜色显著图：⊕s=c+3N(I(c,s))
(8)
-C=⊕44
c=2方向显著图：⊕s=c+3[N(RG(c,s)+N(BY(c,s))](9)
-O=∑N(⊕4c=2∈{0∘,45∘,90∘,135∘
}⊕4s=c+3N(O(c,s,θ)))(10)
θ式中：⊕表示逐点求和。
在得到各个分量的显著图后，需要对各个分量的显著图进行融合，获取全局显著图，如下式：
S=13
(N(Iˉ)+N(Cˉ)+N(Oˉ))(11)
第7期华丽，等：基于视觉显著特征的光学与SAR影像快速粗配准方法
1605
式中：S为全局显著图。1.1.3视点转移
全局显著图中的灰度最大值表示影像中的最显著区域。最后，结合“胜者全取”[14]和“返回抑制”方法[15]进行注意焦点的转移，依次寻找影像中的显著目标。
1.2TW−Itti视觉注意模型
经典的Itti模型主要针对自然影像、医学影像或者光学影像，对亮度、颜色、方向等初级视觉特征进行提取，没有使用纹理特征，而SAR影像上纹理特征丰富，能在宏观上反映灰度的一些变化规律。同时，由于SAR影像上的水体、道路、机场跑道等标志性地物一般占有大量面积或者灰度较低，呈现黑色或暗色。基于此，本文提出一种考虑SAR影像纹理特性及显著目标灰度特性的TW−Itti视觉显著模型，模型主要是对早期特征选择进行改进，将颜色特征替换为SAR影像纹理特征，该纹理特征图像通过灰度共生矩阵(graylevelco-occurrencematrix，GLCM)计算获得。同时，考虑到SAR影像显著目标的灰度特性，对亮度特征中央周边差的计算增加一项权重系数。
对于纹理特征主要通过灰度共生矩阵[12]算法获取，下面计算纹理特征子图。T0为通过GLCM算法获取的纹理特征子图，这里主要计算能量、相关性、局部稳定性、熵和惯性矩等5种纹理特征。灰度共生矩阵滑动窗口大小为SL像素，距离步长为1个像素，灰度级为16，方向取4个方向的均值(0,45,90和135°
)。
获取上述纹理特征子图像后，利用主成分分析(principalcomponentanalysis，PCA)算法计算得到前3个主成分图像，将这前3个主成分图像表示为R，G和B通道，合成最终纹理图像XL-1，对于中心尺度,c={2,3,4}，对于四周尺度，s=c+δ，而δ∈{3,4}，这样，共有6幅纹理特征显著图生成，计算如下式：
T(c,s)=|T(c)⊖T(s)|
(12)
考虑到目标的低灰度特性，对经典的Itti模型中公式(4)亮度特征中央周边差的计算进行改进，引入一权重系数w，且w∈[0,1]，w可根据显著目标的整体亮度值而改变，当显著目标整体亮度偏亮时，w靠近1；当显著目标整体亮度偏暗时，w靠近0，具体计算公式如下：
I(c,s)=|(w⋅I(c))⊖I(s)
|(13)
本文方向特征图不改变，依然采用经典的Itti模型中式(7)的方向特征图。在得到各个分量的显著图后，对各个分量的显著图进行融合，即可得到全局显著图，式(11)变为如下式：
S=
13
(N(Iˉ)+N(Tˉ)+N(Oˉ))(14)上述全局显著图中的灰度最大值表示影像中的最
显著区域。
2
基于显著区域特征的影像粗配准
2.1
基于水平集分割的显著目标提取
水平集方法是一种将曲线(或曲面)隐藏在更高一
维连续曲面的零水平集中隐式地完成曲线演化的方法。在图像分割领域，水平集方法是用于主动轮廓模型的求解，它的核心思想是把n维曲面描述视为n+1维超曲面(称为水平集函数)的水平集。在求解主动轮廓模型时，水平集方法将平面闭合曲线隐含的表达为三维连续曲面φ(x,y,t)的具有相同函数值的同值曲线，通常取φ=0为零水平集，φ(x,y,t)为水平集函数。水平集方法通过不断更新水平集函数，达到演化隐含在水平集函数中闭合曲线的目的。
在得到视觉显著图后，对于显著目标的提取，本文提出一种基于显著特征的水平集分割方法，该方法主要是对水平集分割中的零水平集初始化函数进行改进。经典水平集方法采用符号距离函数(signaldistancefunction，SDF)来初始化零水平集函数，而通常的符号距离函数收敛速度很慢，且容易收敛到局部极小值。利用SDF来初始化零水平集(通常为圆或者矩形)即某点像素远离初始化的圆或者矩形边缘时，则该点难以演化至边缘，反之亦然，该方法完全取决于空间位置关系，没有考虑图像本身的灰度信息。因此，本文利用视觉显著图得到的粗略目标轮廓来初始化零水平集函数。
水平集分割模型即使用1个水平集函数将图像划分为目标和背景2类区域。其中，CHAN等[16]提出的CV模型最为著名，基于经典水平集模型的光学影像分割方法相对来说比较成熟，且能取得较好的分割效果，因此，本文采用CV模型对光学影像进行分割。对于SAR影像，考虑到斑点噪声的影响，本文采用统计Gamma分布模型定义水平集函数。
对于初始化零水平集函数，本文利用OTSU算法对显著区域进行二值分割，由于此显著区域只是显著目标的大致轮廓，不是精确的目标位置，故仅利用此轮廓来初始化零水平集函数。假设t0为通过OTSU算法计算出来的分割阈值，I为原始影像，则可以通过下式来初始化零水平集函数φ0：
ϕ0=I-t0
(15)
可以得到零水平集函数φ0=0，为影像上满足
1606
中南大学学报(自然科学版)第50卷
I=t0的点集。
在分割出上述面目标后，对这些面目标初步判断是否存在可以直接配准的面特征。这里，首先描述和分析光学与SAR影像上分割出的面目标；其次，为了消除分割过程中目标粘连和大量不连续阴影的干扰，同时，为了后续的配准需求，本文对目标形状进行约束，利用形状因子的概念[17]，只保留形状规则的单个目标。同时，在利用形状因子对分割后的目标进行第1次筛选。为了提高配准时间效率，对上述目标进行第2次筛选，仅保留面积最大的前10个显著目标。
2.2基于形状曲线的显著区域特征配准
形状曲线是一种基于距离−距离的方式来获取的标记图。常用的形状曲线方法以固定的角度θ为间隔进行采样，θ为两相邻采样点与质心的连线所形成的夹角。首先，对于固定角度取点，当要描述的对象为凹多边形时，由于质心在多边形外，会产生重复采样点，导致匹配无效；其次，如果2个对象的尺度不一样，按照角度进行选点采样，会导致选择的采样点偏差很大，造成匹配失效。因此，本文设定采样点数
m，以周长的1
m
为间距对区域的外边界进行取样。多
边形被描述为以1个周长为周期的曲线，即区域的形状曲线。它既可以很好地描述目标区域的外在形状特征，又可保持旋转、缩放和平移的不变性。
图2所示为多边形及其形状曲线。如图2(a)和图2(b)所示：假设有2个多边形A和B，它们的外形相似但是存在一定的旋转角度差异，利用距离−距离标记图法生成归一化的形状曲线。由图2(c)可见：如果稳定一条曲线不动，让另一条曲线相对其进行相位移动做相关运算，那么必有当相位移动d0(i)时，形状曲线的相似度最大，即2个曲线的吻合程度最高、最相关。此相关度就是2个多边形的形状相似度，偏移相位ω就是多边形之间的相对旋转差异值。
计算形状曲线A和B之间的相似度p如下式：
(a)多边形A；(b)多边形B；(c)最佳配准位置对应的形状
曲线
图2多边形及其形状曲线Fig.2
Polygonsanditsshapecurves
p(A,B)=maxçæ
∑n
dA-dA)(dB--Bèi-ji-dj)/
i=1
(∑n
(n
dA-A
i-d)∑(dB--B
ji-dj)2
,j=0,1,2,⋯,nö
÷i=1i=1÷(16)
ø
式中：dAi为多边形A外边界的第i采样点到质心的距
离；-dA为所有dABi的均值；dji为多边形B由第j点为起
点后第i点到质心的距离；--dBBj为所有dji的均值。
在实际运算过程中，对多边形按预先给定的采样点数采样后，分别生成形状曲线，为避免尺度的依赖性对其进行归一化处理，这里d(i)=di(i)/d0(i)，d0(i)为所有半径值的均值，di(i)为第i点的半径。
固定基准目标区域的形状曲线不动，从待配准形状曲线的起点开始相对其进行滑动相关运算，从而避免标记图的起点选择的问题。
相位偏移量对应的影像间旋转角度就是向量Or(jmax)与向量Ob(i0)之间的夹角，其中jmax是相似
度最大时待配准多边形的第j个采样点，Or是待配准多边形的质心，Ob是基准多边形的质心，io是基准多边形的起点。
通过上述匹配方法得到同名点对后，需要对光学与SAR影像进行纠正。由于多项式模型能更好地拟合光学影像与SAR影像之间的非刚性变换，本文采用多项式模型对同名点进行拟合，且同名匹配点数至少需要3对。
3实验与分析
为了验证本文方法的有效性，对比2组不同分辨
率、不同特征与场景下的光学与SAR影像。图3所示为2组光学与SAR影像实验数据。表1所示为上述2组光学与SAR影像实验数据对比。3.1显著模型的比较
为了验证本文提出的TW−Itti模型对SAR影像的有效性，将该模型与经典的Itti模型进行对比，同时利用得到的显著图来初始化水平集函数，对影像进行分割。
图4所示为基于不同视觉显著模型的城区SAR影像显著区域提取。由图4可见：实验数据显著特征主要体现为水体，在SAR影像中表现为暗目标，且灰度均匀，所占面积较大。图4(a)所示为基于经典的Itti模型获取的SAR影像显著区域，图4(b)所示为基于
TW−Itti模型获取的SAR影像显著区域，显著区域均由黄色框线表示。通过这2幅图可以看到本文提出的TW−Itti模型对SAR影像显著区域获取效果好，范围更精确，且可以很好地得到水体区域。建筑物等高亮
第7期华丽，等：基于视觉显著特征的光学与SAR影像快速粗配准方法
1607
(a)城区光学影像；(b)城区SAR影像；(c)山区无人机光学
影像；(d)山区无人机SAR影像图3
2组光学与SAR影像实验数据
Fig.3
TwosetsofexperimentaldataofopticalandSAR
images
表1
2组光学与SAR影像实验结果对比Table1Twosetsofexperimentalresultscomparisonof
opticalandSARimages
实验序号
光学影像
SAR影像影像描述
传感器：SPOT5传感器：Radar‐sat-2VV极化2010年北京市颐全色波段分辨率：3m和园附近的2组1
分辨率：2.5m日期：2010年高分辨率卫星影日期：2010−0912月像，灰度差异明大小：685×大小：2569×显，尺度差异1189
28072.5倍。
传感器：无人传感器：无人机SAR2012年四川省绵机光学分辨率：1m阳市郊区龙潭坡2
分辨率：0.5m日期：2012年附近的两组高分日期：2012−044月
辨率无人机影大小：7733×大小：2272×像，存在明显的9479
1636
亮度差异。
目标的干扰较少。经典的Itti模型得到的显著区域目标整体不连贯。虽然显著区域可以获得目标的大致轮廓，但边缘缺乏细节，目标区域不准确，不能直接用于后续配准。因此，需要在此基础上利用水平集方法对结果进行优化，使得到的分割结果精确且完整，有利于下一步形状曲线配准。
(a)Itti模型；(b)TW−Itti模型
图4基于不同视觉显著模型的城区SAR影像显著区域提取Fig.4
ExtractionofsalientregionsfromurbanSARimagesbasedondifferentvisualsaliencymodels
图5所示为基于不同视觉显著模型的山区SAR影像显著区域提取。由图5可见：图5(a)中A和B表示
Itti模型检测的结果，图5(b)中C和D表示TW−Itti模型检测的结果。实验数据显著特征主要体现为道路和部分水体，存在严重干扰的是山体的阴影。与经典的Itti模型进行比较后发现，本文提出的TW−Itti视觉显著模型能更好地发现暗目标，高亮目标大部分被屏蔽。3.2
基于显著区域特征影像粗配准
图6所示为实验数据1基于形状区域的显著区域特征粗配准结果。其中，图6(a)和(b)所示分别为光学
(a)Itti模型；(b)TW−Itti模型；(c)图(a)A区域；(d)图(b)C
区域；(e)图(a)B区域；(f)图(b)D区域
图5基于不同视觉显著模型的山区SAR影像显著区域提取
Fig.5
ExtractionofsalientregionsfromSARimagesin
mountainousareasbasedondifferentvisualsaliencymodels
1608
中南大学学报(自然科学版)第50卷
(a)基于Itti模型的光学影像显著区域提取；(b)基于TW−Itti模型的SAR影像显著区域提取；(c)基于显著区域的光学影像水平集分割；(d)基于显著区域的SAR影像水平集分割；(e)光学影像显著目标提取结果及同名点查找；(f)SAR影像显著目标提取及同名点查找；(h)图(g)中E区域；(i)图
(g)中F区域；(g)影像粗配准结果叠加显示图6基于形状区域的显著区域特征粗实验数据1配准Fig.6
CoarseregistrationresultsofExperimentaldata1basedonsalientregionfeaturesofshaperegions
影像和SAR影像显著区域提取结果，图6(c)和(d)所示分别为光学和SAR影像基于显著区域的水平集分割结果，图6(e)和(f)所示分别为光学和SAR影像显著目标提取及同名点查找结果。值得注意的是：这里的显著特征提取结果是在视觉显著水平集分割的基础上进行后处理的结果。图6(g)所示为利用查找到的同名点进行几何纠正后的结果，可以看出，同名点集中的A区域的配准结果比较精确，B区域的配准结果存在一些位移，但2幅影像可以得到初步配准。
图7所示为基于形状区域的显著区域特征实验数据2粗配准结果。其中图7(a)所示为基于Itti模型的光学影像显著区域提取结果，图7(b)所示为基于TW−Itti模型的SAR影像显著区域提取结果。从图7(b)可以看出：大部分同名地物被显著区域包含，这个操作可以大大减少同名区域配准时间，且提高配准精度。图7(c)和图7(d)所示为利用形状曲线进行的同名点查找结果，共可得到3对正确同名匹配点，图7(e)所示为基于显著区域特征的SAR影像粗配准结果叠加显
(a)基于Itti模型的光学影像显著区域提取；(b)基于TW−Itti模型的SAR影像显著区域提取；(c)光学影像显著特征同名点查找结果；(d)SAR影像显著特征同名点查找结果；(e)影像粗配准结果叠加显示；(f)图(e)中方框区域放大显示图7基于形状区域的显著区域特征实验数据2粗配准Fig.7
CoarseregistrationresultsofExperimentaldata2basedonsalientregionfeaturesofshaperegions
第7期华丽，等：基于视觉显著特征的光学与SAR影像快速粗配准方法
1609
示，可以看到SAR影像经过配准后消除了尺度和角度影响，仅存在少量的位置误差。3.3
时间效率分析
为了验证本文方法的有效性，测试时间效率。时间采用秒记时，所有算法均在个人台式机上完成，配置如下：英特尔酷睿i3CPU(TM)，四核处理器运行于3.07GHz，内存为2.99GB，WindowsXP系统。
表2所示为时间结果对比表，其中常规方法指的是，首先对整幅影像进行水平集分割，接着对分割结果矢量化，计算每个矢量对象的面积和形状因子，选择面积最大且形状规则的前10个对象两两进行形状匹配。需要注意的是：全图水平集分割时间包括对光学和SAR影像分别进行分割的时间之和。视觉显著区域提取的时间包含利Iitti模型对光学与以及利用TW−Itti模型对SAR影像提取的时间。形状匹配的时间包含分割结果矢量化、分割对象属性选择以及形状匹配的时间。
由表2可见：1)本文方法的时间明显低于常规方法的时间，特别是图像越大，优势越明显。2)常规方法耗时主要体现在2个方面：全图水平集分割和分割后形状匹配。因为形状匹配的时间包含了二值结果矢量化，矢量化算法耗时占整个形状匹配算法耗时的80%，而全图影像分割后所得到的分割对象细碎、繁多，矢量化的时间消耗会增加。3)对于实验2来说，利用常规的面特征匹配方法无法得到匹配结果，因为全图分割后，一方面，面目标繁多，在进行面积和形状剔除后，可以匹配的同名面目标减少；另一方面，由于是对全图进行水平集分割，有些面目标和相邻的
表2
不同方法的时间对比
Table2Comparisonoftimefordifferencemethods实验总时间/序号
方法步骤分解分步时间/ss常规全图水平集分割252方法
形状匹配346598
视觉显著区域提取
211
TW−Itti法
基于显著区域的水
平集分割23112形状匹配
68常规全图水平集分割581方法
形状匹配10191600视觉显著区域提取2
38TW−Itti法
基于显著区域的水
平集分割31146形状匹配
77
地物产生蔓延，造成分割出的面目标不完备，因此，在进行形状匹配时，无法找到同名面目标，造成配准失败。
4结论
1)提出的TW−Itti视觉显著模型能更精确的提取
SAR影像上显著目标的范围。
2)提出的全自动的光学与SAR影像粗配准方法无需任何初始条件。
3)相对于常规配准方法，本文方法在减少时间消耗的基础上，能保证光学与SAR影像的有效配准。参考文献：
[1]
SHULixia,TANTieniu.SARandSPOTimageregistrationbasedonmutualinformationwithcontrastmeasure[C]//IEEEInternationalConferenceonImageProcessing.NewYork,USA,2007,5:429−432.[2]ZITOVÁB,FLUSSERJ.Imageregistrationmethods:asurvey[J].ImageandVisionComputing,2003,21(11):977−1000.[3]
冯甜甜,艾翠芳,王建梅,等.基于人工免疫算法的光学影像与SAR影像配准方法[J].同济大学学报（自然科学版）,2015,43(10):1588−1593.
FENGTiantian,AICuifang,WANGJianmei,etal.ANovelimageregistrationmethodforopticalandSARsatelliteimagesbasedonartificialimmunityalgorithm[J].JournalofTongjiUniversity(NaturalScience),2015,43(10):1588−1593.[4]
FANBin,HUOChunlei,PANChunhong,etal.RegistrationofopticalandSARsatelliteimagesbyexploringthespatialrelationshipoftheimprovedSIFT[J].IEEEGeoscienceandRemoteSensingLetters,2013,10(4):657−661.[5]
XIANGYuming,WANGFeng,YOUHongjian.OS-SIFT:ArobustSIFT-likealgorithmforhigh-resolutionoptical-to-SARimageregistrationinsuburbanareas[J].IEEETransactionsonGeoscienceandRemoteSensing,2018,56(6):3078−3090.[6]
刘妍.基于点特征的SAR图像配准方法研究[D].武汉:武汉大学,2017:11−14.
LIUYan.Registrationofmulti-temporalSARimagesbasedonpointfeatures[D].Wuhan:WuhanUniversity,2017:11−14.
[7]SUIHaigang,XUChuan,LIUJunyi,etal.Automaticoptical-to-SARimageregistrationbyiterativelineextractionandvoronoiintegratedspectralpointmatching[J].IEEETransactionsonGeoscienceandRemoteSensing,2015,53(11):6058−6072.
[8]FANJianwei,WUYan,LIMing,etal.SARandopticalimageregistrationusingnonlineardiffusionandphasecongruencystructuraldescriptor[J].IEEETransactionsonGeoscienceandRemoteSensing,2018,56(9):5368−5379.
[9]叶沅鑫,郝思媛,曹云刚.基于几何结构属性的光学和SAR影像自动配准[J].红外与毫米波学报,2017,36(6):720−726.YEYuanxin,
HAO
Siyuan,
CAOYungang.Automatic
1610
中南大学学报(自然科学版)第50卷
registrationofopticalandSARimageusinggeometricstructuralproperties[J].JournalofInfraredandMillimeterWaves,2017,36(6):720−726.
[10]许斌,雷斌,孙韬,等.一种多特征匹配的可见光与SAR图像
配准算法[J].遥感信息,2018,33(3):85−90.
XUBin,LEIBin,SUNTao,etal.Amulti-featurematchingalgorithmforvisiblelightandSARimagesregistration[J].RemoteSensingInformation,2018,33(3):85−90.
[11]汪汉云,王程,李鹏,等.多源遥感图像配准技术综述[J].计算
机工程,2011,37(19):17−21,25.
WANGHanyun,WANGCheng,LIPeng,etal.Reviewofmulti-source
remote
sensing
image
registration
techniques[J].
ComputerEngineering,2011,37(19):17−21,25.
[12]苏煜,山世光,陈熙霖,等.基于全局和局部特征集成的人脸识
别[J].软件学报,2010,21(8):1849−1862.
SUYu,SHANShiguang,CHENXilin,etal.Integrationofglobalandlocalfeatureforfacerecognition[J].JournalofSoftware,2010,21(8):1849−1862.
[13]ITTIL.Featurecombinationstrategiesforsaliency-basedvisual
attentionsystems[J].JournalofElectronicImaging,2001,10(1):161.
[14]FELDMANJA,BALLARDDH.Connectionistmodelsand
theirproperties[J].CognitiveScience,1982,6(3):205−254.[15]KOCHC.,ULLMANS.,Shiftsinselectivevisualattention:
Towardstheunderlyingneuralcircuitry[J].HumNeurobiol,1985,4(4):219−227.
[16]CHANTF,VESELA.Activecontourswithoutedges[J].IEEE
TransactionsonImageProcessing,2001,10(2):266−277.[17]徐川,华凤,眭海刚,等.多尺度水平集SAR影像水体自动分
割方法[J].武汉大学学报(信息科学版),2014,39(1):27−31.XUChuan,HUAFeng,SUIHaigang,etal.AutomaticwatersegmentationmethodinSARimagesusingmulti-scalelevelset[J].GeomaticsandInformationScienceofWuhanUniversity,2014,39(1):27−31.
(编辑秦明阳)
因篇幅问题不能全部显示，请点此查看更多更全内容