基于建筑物卫星图像的子像素角点优化方法

郝乐川1，曹志民2，张 晔1，张小威3

（1.哈尔滨工业大学 电子与信息工程学院，黑龙江 哈尔滨 150001； 2.东北石油大学 电子科学学院，

黑龙江 大庆 163318；3. 哈尔滨工业大学 经济与管理学院，黑龙江 哈尔滨 150001）

摘 要：提出一种通过建立优化函数进行子像素角点坐标优化的新方法。引入超分辨的方法及建筑物的高程信息，建立优化模型，将角点坐标从像素级精确到子像素级，提高了建筑物角点坐标的提取精度和对应点的高程值解算精度。关键词：子像素；角点检测；超分辨；优化模型

中图分类号：P237 文献标志码：B

文章编号：1672-4623（2018）02-0048-03

基于光学卫星图像的三维重建及建筑物三维信息提取,近年被广泛应用于城市规划、容灾管理、资源管理、军事仿真模拟等方面[1]。其中，建筑物高程解算是建筑物三维信息提取的一个重要步骤[2]，而角点检测的准确性直接决定了建筑物的高度信息。常用的角点提取方法主要有Harris、KLT及Susan等自动角点检测方法，为了保证建筑物角点提取的可靠性和准确性，自动提取的角点往往需要配合人工交互来实现角点修正/编辑，即半自动角点检测[3-6]，但利用这种方法提取的角点坐标和真实的角点坐标相比还是存在一定的误差。本文提出一种基于超分辨方法的交互式子像素角点坐标优化方法，在一定程度上提高了现有建筑物三维信息提取的可靠性和精度。

互式角点提取方法的误差分析；第二部分则是本文提出的角点优化方法的模型建立及角点优化过程，即应用统计分析及最优化方法进行角点优化模型的建立及优化的过程。1.1 误差分析

针对现有半自动角点提取方法所存在的两个问题，预处理部分主要由两部分构成。其中，针对不能准确获取子像素级角点的问题，预处理的第一个主要部分是采用一种单幅图的超分辨方法用于获取子像素级的图像[9]。这种方法的优点是可以有效获得子像素图像并保留原图像中建筑物的边缘和角点信息，进而利用超分辨的立体像对进行子像素级匹配点对的获取。在预处理的第二个主要部分中，需要通过大量统计以发现并分析不同人工交互式取点的偏向规律。图2给出5个不同的人采用交互式角点提取的结果图(每个人提取100次的平均值)，左图为原图中的选点图，右图为相应的散点坐标图。通过观察可发现，相对于较标准的角点坐标，红色偏右上方，绿色偏上方，蓝色偏右方，

未知标准高程值的带有误差的角点1 子像素角点优化方法分析

为了找出角点坐标的优化模型，从而修正高程值未知的角点坐标值，依照图1所示，这种方法主要分为两个部分：第一部分主要包含了图像的预处理及交

图像超分辨带有误差的点点周围设置窗口优化后的点坐标误差更正模型优化算法优化后的角点坐标窗口内点对的高程值H11...Hij带有误差的点图像超分辨点周围设置窗口带有误差的点的标准高程值优化后的角点坐标误差更正模型优化算法优化后的角点坐标未知标准高程值的带有误差的角点图1 子像素角点坐标优化方法框图

收稿日期：2016-05-16。

第16卷第2期郝乐川等：基于建筑物卫星图像的子像素角点优化方法·49·粉色偏中部左下方，黄色偏左方，每个人都有自己取点的误差规律。为了解决以上问题，首先，从卫星立体像对中通过传统的交互式选点方式获取大量匹配点对，从相应的高精度LiDAR点云数据中提取对应的三维坐标标准值。接下来，为了建立优化模型来优化角点提取的精度，其中前面所提取的部分匹配点对及其标准高程值，即模型训练数据，用作建立角点优化模型规则的数据依据，而其余部分匹配点及对应的标准值，即模型测试数据，可用于测试优化模型的有效性。

050100050100150图2 不同的人的交互式角点提取图

1.2 角点优化模型建立及角点优化

为了建立角点优化模型，需要找出模型构建训练数据包含的子像素点对中解算高程值与相应点的标准高程值最接近的子像素点对坐标，以建立初始含有误差的像素点到这些精确子像素点的优化关系模型。首先在超分辨图像中已知标准高程值的待优化匹配点坐标周围设置局部修正窗口s，并解算局部修正窗口内各子像素点对组合的高程值，进而可以得到与标准高程值的差值，如图3所示。依据图中各子像素点的高程值与标准高程值的差值di的大小，在最优化程序中找出具有最小偏差的子像素点，对应最优匹配点与初始匹配点的位置关系即可作为优化模型建立的直接参考数据。

P11，P21P11,p21与高程值P1，P2的P高程值差11PPP11213P14P11，P22P11,p22与高程值P1,P2的高P1程值差…P1，P2标Pij与Pnm为准高程值…与P1，P2高P2程值差最小的点PP14，P2314,p23与21P22高程值PP1,P2的高PP123P24程值差P14，P24高程值P14,p24与P1,P2的高程值差图3 最优子像素角点选择                                              在已知Xi和xi、Yi和yi的情况下，通过大量像素坐标数据统计方法获取到分别对应Xi和xi，Yi和yi关系的优化函数fx(a,b,c,…)、fy(a,b,c,…)，其中xi、yi表示对应高程值较为准确的X、Y方向上的子像素坐标，

Xi、Yi表示对应高程值含有一定误差的原图像中匹配点X、Y方向上的像素坐标，这些相对准确的子像素点与原像素点之间的关系式如式（1）所示：

)YXi&fx(a,b,c,...)&xii=1,...,n

(1)

i

fy(a,b,c,...)yi

本文应用了如下优化模型：

Z]X2=a$e-^kxX-b-^kX-bh2vwxhx+a$eywy

[cxy

vy]Y (2)=c$e-^vxX-^vyXw-dyh2hw-dxh2

xhy式中，(X\\c

x+cy$ew,Yw)和(Xc,Yc)分别表示修正前后的匹配点坐标；ax,ay,bx,by,cx,cy及kx,ky,vx,vy,σx,σy,ηx,ηy均为优化模型需要的常量参数，根据个体不同，对应的参数不同。

综上所述，本文所提方法可归纳为如下步骤：步骤1：卫星立体像对的超分辨操作；步骤2：匹配点对优化模型训练数据，对卫星立体像对匹配点对进行自动提取，手动筛选训练匹配点对及测试匹配点对，并从高精度LiDAR数据上获取参考标准数据；

步骤3：利用训练数据建立子像素匹配点对优化模型，获取子像素匹配点对及解算高程信息，建立子像素匹配点对优化模型；

以上是优化模型的建立过程，可离线进行。在得到以上优化模型的基础上，可对任意选取的匹配点进行优化：

步骤4：选取感兴趣测试匹配点对；步骤5：进行匹配点对子像素优化；步骤6：利用优化匹配点对进行高程提取。

2 实验和结果

2.1 实验数据

为验证上述方法的有效性，实验中采用分辨率分别为0.6 m的QuickBird全色图像和0.5 m的WorldView全色图像，图像所覆盖的地区为美国圣迭戈市。针对大图中一个140×140像素的小区域进行实验，如图4所示。首先应用上述方法对图像进行超分辨，4倍超分辨后的图像如图5所示。

实验中，在超分辨的图像匹配点坐标周围设置的窗口大小s取为4×4（卫星图像的建筑物顶面角点的

图4 初始输入图像

·50·地理空间信息

第16卷第2期

图5 超分辨后图像

主要误差在这个范围内），用于优化函数获取及实验结果对比的标准坐标值及高程值获取于对应的LiDAR点云数据（垂直激光雷达数据准确性是通过对21个独立检测点进行测试，测试的结果是RMSEz = 0.06 m，说明95%的结果误差在0.12 m内）。2.2 实验结果

表1中，1~6行是分别从QuickBird和WorldView全色图像中获取的含有误差的部分匹配点坐标信息(实验操作员100次操作的平均值)；7~12行对应的是修正后的子像素点坐标信息；13~18行是从LiDAR数据中获取的标准的对应点像素坐标。根据这些训练数据，及式（1）~（2）给出的优化模型，Z实验操作员对应的优化模型为：

]X(9.998e-^Xw-(1.136e+04)h2

c= ]+03)*e4.9210225e+07+[]680.7*e-^X6w-(4.043e+03)h2

.290064e+06 (3)]Y=(1.789e+04)*e-^Xw-(2.165e+04)h2\\c

2.331729e+08表1 用于优化模型计算的部分点坐标

QuickBirdWorldViewXw1Yw1

Xw2Yw2

13 985.2010 254.008 045.0012 312.0024 078.2010 246.808 154.5012 307.0034 080.0010 271.408 157.5012 335.0044 050.0010 272.608 123.0012 337.0054 049.4010 281.608 123.5012 348.5064 018.2010 284.008 084.0012 350.50Xc1

Yc1

Xc2

Yc2

73 985.8010 253.708 045.0012 312.5084 078.8010 246.808 155.0012 307.5094 080.7510 271.258 157.5012 335.00104 050.7510 272.758 123.7512 337.50114 050.3010 281.758 123.7512 348.75124 018.8010 283.708 083.7512 350.00Xl1

Yl1

Xl2

Yl2

133 985.8010 254.008 045.0012 313.00144 078.8010 246.808 154.5012 307.00154 080.6010 271.408 157.5012 334.50164 050.6010 272.608 123.0012 337.00174 050.0010 281.608 123.5012 348.0018

4 018.80

10 284.00

8 084.00

12 350.00

利用以上优化模型对典型建筑物角点坐标进行优化，表2中1~4行是从QuickBird和WorldView全色图像中获取的待优化的匹配点坐标信息；5~8行为修正后的子像素点坐标信息。对比表2中9~12行从LiDAR数据中获取的用于对比评价的相应标准角点信息可以看出,修正过的角点更接近于标准角点信息。

表2 优化角点坐标及对应标准值

QuickBird

WorldViewXw1Yw1

Xw1Yw1

14 017.6010 276.208 083.5012 340.5023 986.4010 276.808 046.5012 343.5033 010 294.208 048.0012 363.0043 992.4010 347.608 053.5012 430.50Xc1

Yc1

Xc2

Yc2

54 018.3510 276.208 083.7512 340.2563 987.3010 276.658 046.7512 343.2573 989.2510 294.208 048.2512 362.7583 993.3010 347.758 053.7512 430.25Xl1

Yl1

Xl2

Yl2

94 018.2010 276.208 083.5012 340.00103 987.0010 276.808 046.5012 343.00113 989.4010 294.208 048.5012 362.5012

3 993.00

10 347.60

8 053.50

12 430.00

3 结 语 

通过对传统交互式角点提取方法的误差原因进行分析，引入高度信息，应用统计方法建立角点子像素优化模型。利用此优化模型有效地提高角点选择的精度和角点坐标的准确性，为优化角点提取的准确性提供了新思路，在一定程度上间接提高了匹配点高度值解算的精度。另外，可以应用本文基于超分辨率子像素级别的角点坐标优化思路，建立针对每个人自己的交互式角点提取优化模型，用于每个人在所使用的图像处理软件（如MATLAB等）中依据自己的选点偏差习惯进行相应的固定更正设置。

参考文献

[1]  YanJ,Zhang K,Zhang C,et al.Automatic Construction of 3-D 

Building Model from Airborne LiDAR Data Through 2-D Snake Algorithm[J].IEEE Transactions on Geosecience and RemoteSensing, 2015,53(1):3-14

[2] Topan H, Oruc M, Taskanat T, et al. Combined Efficiency of RPC 

and DEM Accuracy on Georeferencing Accuracy of Orthoimage: Case Study With Pleiades Panchromatic Mono Image[J].IEEE Geoscience and Remote Sensing Letters, 2014,11(6):1 148-1 152[3] 谢东海,詹总谦,江万寿.改进Harris算子用于点特征的精

确定位[J].测绘信息与工程,2003(2):22-23

[4] 崔有祯,吴露露,辛星.物角点检测研究[J].测绘通报, 

2013(9):24-26

[5] 宋妍,苟永刚,郑坤. 一种新的遥感影像角点提取方法[J].

遥感信息, 2014(2):114-117

[6] Harris C, Steven M. A Combined Corner and Edge Detector[C]. 

4th Alvey Vision Conf, Manchester, 1988 

[7] Yang M, Wang Y F. A Self-Learning Approach to Single 

Image Super-Resolution[J].IEEE Transacttons on Multimedia, 2013,15(3):498-508

[8] 李平湘,沈焕锋,张良培.影像超分辨率重建技术在遥感中

的应用[J].地理空间信息,2007(5):1-3

[9] Song H, Huang B, Liu Q, et al. Improving the Spatial Resolution 

of Landsat TM/ETM Plus Through Fusion with SPOT5 Images via Learning-Based Super-Resolution[J].IEEE Transations on Geoscience and Remote Sensing, 2015,53(3):1 195-1 204第一作者简介：郝乐川，博士，研究方向为遥感多源数据融合与处理。