第25卷第8期 计算机技术与发展 COMPUTER IECHNOLOGY AND DEVELOPMENT 2015年8月 V01.25 No.8 Aug. 2015 种基于深度信息的障碍物检测方法 杨磊 ,蔡纪源 ,任衍允 ,李俄德 (1.上海大学机电工程与自动化学院上海市电站自动化技术重点实验室,上海200072; 2.大唐陕西府谷能源d'r-有限责任公司,陕西西安719405) 摘要:为增强室内移动机器人障碍物检测和道路提取能力,文中提出了一种基于深度信息的障碍检测方法。首先对深 度数据进行滤波处理,填补缺失的数据;然后将深度图转换为视差图,对视差图进行水平和竖直方向投影直方图统计获得 U-V视差图;由V视差图得到初步道路信息,进一步用最小二乘法拟合出完整道路平面。对u—V视差图进行两次最大类 间方差法(Otsu法)分割,提取出障碍物主要信息,并根据视差关系得到障碍物在世界坐标系中的位置。实验结果表明,使 用Kinect可以有效地对地面障碍物进行检测并提取出道路信息,可为室内移动机器人提供良好的导航信息。 关键词:深度数据;视差图;最dx-乘;最大类间方差法;障碍物检测 中图分类号:TP301 文献标识码:A 文章编号:1673—629X(2015)08—0043—05 doi:10.3969/j.issn.1673—629X.2015.08.OO9 A Method of Obstacle Detection Based on Depth Information YANG Lei ,CAI Ji—yuan ,REN Yah—yun ,LI E—de (I.Shanghai Key Laboratory of Power Smtion Automation Technology,School of Mechatronics Engineering and Automation,Shanghai University,Shanghai 200072,China; 2.Datang Shaanxi FugIl Power Generation Co.,Ltd.,Xi’all 719405,China) Abstract: Il0 enhance obstacle detection and road extraction ability oftheindoormobile robot,present artobstacle detectionmethod based on depth information.Firstly,process the depth data by filtering and fill up he missitng data.Then transform depth map to disparity map nd calaculate u—V dispariy tmap by horizontal and vertical diectrion projection histogram statistics.Based on preliminary oad rinformation got by V dispariyt map,Can fit a complete road plne by usiang the least square method.Wih twitce segmentaiton of the U—V disparity map byOtsu’Smethod,extractthemaininformation ofobstaclesand obtainthelocation ofobstacleintheworld coordinate accordingto disparity relationship.Experiments show that Kinect can effectively improve he tability of obsaclte detection and road information extrac— tion for indoor mobile robot,and provide good navigation information. Key words:depth data;disparicy map;least squares;Otsu;obstacle detection O 引 言 智能移动机器人在未知环境中的自主导航感知周 因素的干扰 。一种新的微软研制的Kinect传感 器,由于成本低、分辨率高等优点,被广泛应用于目标 检测、跟踪与识别、人的行为分析、手势分析、室内3D 围环境,这就要求系统能够有效地进行障碍物检测与 可行道路提取。传统的障碍物检测使用的传感器主要 有红外传感器、超声波传感器、视觉设备和激光雷达 地图构建等领域 J。Kinect利用主动射出的红外光 往返的相位差来获得深度信息,仅与物体空间位置有 关,且几乎不受光照、色度、阴影、环境变化等因素的干 扰,因而能有效地避免单目视觉、双目视觉用可见光进 行图像检测遇到的问题和瓶颈。 等…。其中,超声波反射性强、定向性差,对于复杂多 变的环境性能不佳;而3D激光雷达成本过高、安装复 杂。近来,用双目视觉获得场景或物体的深度信息越 来越受到欢迎,但是易受光照、色度、阴影、环境变化等 收稿日期:2014—08—06 修回日期:2014—11—07 朱效洲等对障碍物检测和地形分类对移动机器人 网络出版时间:2015-07-21 基金项目:国家自然科学基金资助项目(61005015);国家第三批博士后特别基金(201003280);上海市青年教师培育计划和上海大学青年教师 资助计划资助项目 作者简介:杨磊(1976一),男,博士后,副研究员,硕士生导师,研究方向为计算机视觉与模式识别、数字图像处理等;蔡纪源(1991一),男,硕 士研究生,研究方向为计算机视觉与图像处理。 网络出版地址:http://www.enki.net/kcms/detail/61.1450.TP.20150721.1433.008.html 44· 计算机技术与发展 第25卷 导航的重要性和问题研究进展进行了综述 。文献 [8]提出了一种视觉检测与2D激光检测融合的障碍 检测方法,背景差法分割出障碍物,激光雷达辅助获得 障碍物位置信息,而背景采用的图像RGB平均值,对 于障碍物与背景颜色相近的物体无法分割出来,2D激 光雷达视野范围也存在局限性。而Kinect可以兼顾 视觉和激光雷达传感器的特点,并对环境变化具有鲁 棒性。文献[9]中采用Kinect对移动机器人进行目标 跟踪与避障,结果表明,使用Kinect可以代替传统测 距传感器。文献[1O]中提出一种基于单目图像和稀 疏激光数据进行道路和障碍物分类的在线自监督学习 算法,并运用到实际Nao机器人的障碍物检测与路径 规划中。最后还验证了低成本的Kinect可以有效替 代单目视觉和3D激光传感器。文献[11—12]提出了 种基于单帧RGB—D图像的场景自适应分割和障碍 物检测方法,用于盲人实时避障系统,其利用深度信息 对场景存在的多平面结构进行分割提取,对障碍、墙、 地面进行分类。文献[13]提出一种基于Kinect的室 内停车场倒车障碍物检测系统,有效地解决了基于颜 色分割、光照不均匀带来的障碍物误判问题,对于复杂 的停车场环境,具有很好的适应性。文献[14]采用深 度图像进行分割并量化的方法,但并不能立即进行障 碍物检测和判断,从而影响实时性。 文中对Kinect采集的深度数据进行多帧中值滤 波,然后将深度图计算得到视差图,对视差图进行水平 和竖直方向投影直方图统计获得U视差图、V视差 图。对V视差图用最大类间方法分割出代表道路信 息的V视差图。将坐标系由图像空间转换到世界坐 标系,根据道路数据拟合出道路平面,补充满足平面不 等式关系的数据得到完整的道路平面。其次,对u—V 视差图进行两次最大类间方差法(Otsu法),分割出障 碍物信息,根据视差大小关系,框出视差图中障碍物位 置,最终得到障碍物在世界坐标系中的位置。 1图像信息提取 1.1深度数据预处理 Kineet深度传感器的工作原理是通过红外投影机 主动投射近红外光谱,当照射到粗糙物体,光谱发生扭 曲,形成随机的反射斑点,红外摄像头捕捉这些变化的 反射红外光谱。因此,在实际测量过程中,主动投射的 红外光的高度相干性不可避免地产生“散斑噪声”,致 使采集到图像中物体的边缘信息严重缺失。当物体是 透明的光滑玻璃介质,信息缺失的更为严重。为了减 小深度图像的噪声,文中采用如下方法: (1)由于Kinect的有效距离是1.2 m到3.5 m,故 只处理在此可信范围内的数据: depth(i√)= fNaN depth(i,j)<1 20。 {depth(i√)1 200≤depth(i√)<3 500 (1) 【NaN depth(i,j)>3 500 其中,depth(iJ)表示深度图像上点(i√)对应的 深度值;NaN表示不确定或是未知的数值,在Matlab 程序处理中会自动跳过。 (2)在同一视角下,对k帧深度图像相同像素点 (i, )对应的深度值depth ( √)取中值得到最终的中 值图像depth_m(iJ),由于Kinect的帧率为30 fps,这 里k取1O。 depthm(i√)=med ian(depth (i√)) (2) 1.2道路提取 众所周知,对于场景中的某一目标特征点,根据其 在左右传感器得到的图像中对应的像素坐标不同可以 恢复其在世界坐标系中的位置。在文献[15]中,提出 了一种由双目立体视觉计算得到视差图进行道路提取 与障碍检测的方法。在实际使用微软Kineet时,得到 的输出数据流中并不直接包含视差图像,而Kinect的 深度数据正是由红外投影机和红外摄像头两者间的视 差计算得到,因此找到深度图像和视差图像的对应关 系,可由深度图像计算得到视差图像。Kineet系统模 型如图1所示,其成像模型可以理解成透视投影模型。 ( , ) Y.)P=( ,Y,z) 图1 Kinect成像系统模型 其中,红外投影机和红外摄像头的焦距f=580 pixels。两者之间的物理距离称为基线,由B表示,曰 =7.5 em。空间中任意点P=( ,y,z)到Kineet的 距离为D,即深度数据,由于该点在左右传感器成像 平面的位置不同,横坐标分别是 , ,视差就是它们 的和disparity= + 。根据相似三角形关系,可以推 导出公式(3),由此,得出视差图像与深度图像之间的 关系。 D: (3) u1 P。dnLy disparity: (4) 由公式(4),将深度图像转化成视差图,对其进行 水平方向的直方图统计得到V视差图。如图2所示, 第8期 杨磊等:一种基于深度信息的障碍物检测方法 ·47· 方法也有不足之处,对于表面非同一平面的球体障碍 物只能进行定位而不能准确测量其物理尺寸,如能改 障技术研究[J].华中科技大学学报:自然科学版,2013,41 (S1):312—315. 进使得对不规则物体进行准确检测,那么对于室内复 杂环境的适应性和有效性会更好。 参考文献: [1]Discant A,Rogozan A,Rusu C,et 1.Sensaom for obstacle de- [9] 贺超,刘华平,孙富春,等.采用Kinect的移动机器人目 标跟踪与避障[J].智能系统学报,2013,8(5):426—432. [10]Maier D,Stachniss C,Bennewi ̄M.Vision—based humanoid navigation using self-supervised obstacle detection[J]Int Journal of Humanoid Robotics,2013,10(2):1—28. tection-a survey[C]//Proc of 30th int spring semin electron techno1.[s.1.]:[s.n.],2007:100—105. [2] 肖晓明,胡华梅,蔡自兴,等.基于自适应分割和立体视觉 的快速障碍检测[J].计算机应用研究,2007,24(9):182— 184. [11]刘宏,王吉占,王向东,等.面向盲人避障的场景自适应 分割及障碍物检测[J].计算机辅助设计与图形学学报, 2013,25(12):1818—1825. [12]Wang z,Liu H,Qian Y L.Real—time plane segmentation and obstacle detection of 3D point clouds for indoor scenesf C 1// Proceedings of European conference on computer vision work- [3]何少佳,刘子扬,史剑清.基于单目视觉的室内机器人障碍 检测方案[J].计算机应用,2012,32(9):2556—2559. [4]Han J,Shao L,Xu D,et a1.Enhanced computer vision with Microsoft Kinect sensor:a review[J].IEEE Trans on Cybem, 20l3,43(5):1318—1334. shops and demonstrations.Berlin:Springer,2012:22-31. [13]Choi J,Kim D,Yoo H,et 1.Reaar obsatcle detection system based on depth from Kinect[C]//Proc of 15th intenatrional IEEE conference on intelligent transportation systems.[s. 1.]:IEEE,2012:98-101. [5]黄露丹,严利民.基于Kinect深度数据的人物检测[J].计 算机技术与发展,2013,23(4):119—121. [14]Khan A,Moideen F,Lopez J,et a1.KinDecteet:Kinect detec. [6]谢亮,廖宏建,杨玉宝.基于Kinect的姿势识别与应用研 ting objects[C]//Proc of ICCHP.Berlin:Springer,2012:588 595. 究[J].计算机技术与发展,2013,23(5):258—260. [7]朱效洲,李宇波,卢惠民,等.基于视觉的移动机器人可通 行区域识别研究综述[J].计算机应用研究,2012,29(6): 2009-20l3. [15]Labayrade R,Aubert D,Tarel J P.Real time obsatcle detection in stereovision on non flat road geometry through“V—dispari— ty”representaiton[C]//Proc of IEEE intelligent vehicle sym- posium.[s.I.]:IEEE,2002:646-651. [8] 田国会,王家超,段朋.病房巡视机器人复杂环境下的避 (上接第42页) for model fitting with applications to image analysis and auto— 和实时拼接。经实验验证,文中算法能够提高图像的 匹配效率,并获得了较好的拼接效果。 参考文献: [1]Harris C J,Stephens M.A combined corner and edge detector mated cartography[J].Communication of hte ACM,1981,24 (6):381—395. [8]Cover T M,Hart P E.Nearest neighbor patten clrassiifcation [J].IEEE Transactions onIfonrmationTheory,1967,13(1): 21-27. [c]//Proceedings of the 4th alvey vision conference.[s. 1.]:[8.n.],1988:147-151. [2]Low D G.Distinctive image features from scale-invariant key points[J].International Journal of Computer Vision,2004,60 (2):91—110. [9]MitcheH H B,Schaefer P A.A“soft”K—nearest neighbor vot- ing scheme[J].International Journla of Intelligent Systems, 2001.16(4):459—468. [10]薛92. 开,李强,徐贺,等.基于振动采用k一近邻法的机 器人地形分类[J].振动、测试与诊断,2013,33(1):88— [11]张学工.模式识别[M].第3版.北京:清华大学出版社, 2010. [3]Bay H,Ess A,Tuytelaars T,et a1.Speeded-Up Robust Fea— tures(SURF)[J].Computer Vision and Image Understand— ing,2008,110(3):346-359. [4]刘奇,何明一.基于SURF特征匹配的图像拼接算法 [12]周剑军,欧阳宁,张彤,等.基于RANSAC的图像拼接方 [J].测控技术,2010,29(10):27-31. [5] 李长春,齐修东,雷添杰,等.基于改进SURF算法的无人 机遥感影像快速拼接[J].地理与地理信息科学,2013,29 (5):22-25. 法[J].计算机工程与设计,2009,30(24):5692-5694. [13]黄有群,付裕,马广煜.基于RANSAC算法的柱面全景图 拼接方法[J].沈阳工业大学学报,2008,30(4):461—465. [14]赵萌萌.基于特征点的图像拼接算法[D].重庆:重庆交通 大学,2013. [6] 赵璐璐,耿国华,李康,等.基于SURF和快速近似最近 邻搜索的图像匹配算法[J].计算机应用研究,2013,30 (3):921-923. [15]郑辉.基于SIFI'特征的全景图像拼接算法研究[D].武 汉:武汉科技大学,2010. [7] Fischler M,Bolles R.Random sample consensus:a paradigm