不连续相位跳变点的三维深度分割

*(天津大学精密测试技术及仪器国家重点实验室，天津300072)

摘要:本文提出了一种简易的三维深度分割技术，该技术能够对存在突变表面的物体的不同深度区域进行分割。为实现 该项技术，首先需要搭建由投影仪、相机和物体组成的深度分割平台。由投影仪向被分割物体投射一系列相移数字光 栅;数字光栅经物体表面调制，被相机采集并存入计算机中待后续处理。将所采集的序列数字光栅进行顺序置换操作，

依次获得三种序列的数字光栅组，通过最小二乘法对不同序列光栅组进行解相位并因此得到包裹相位组。包裹相位组 经差分与相交运算后，可获得相交边缘;对相交边缘进行图像增强操作后即可对不同三维深度的不连续区域进行分割。 仿真结果表明，对于900 pixelX900 pixel范围的复杂面型,该算法的分割偏移误差仅为2 pixel.实验结果表明：该技术

能够对多个不同深度的相似颜色物体进行精确的分割。因此，本方法具备低消耗，高精度三维深度分割的能力。 关 键 词：图像分割；三维深度分割；包裹相位中图分类号：TP391;TH741

文献标识码：A doi：10. 3788/OPE. 20192711. 2459Three-dimensional depth segmentation technique utilizing

discontinuities of wrapped phase sequenceDENG Ji, LI J78 , FENG H7o, ZENG Zhou-eo(StaEf Kfy Labo旷ato旷y of Prwcd衣on Mwasitmif/iE Technology and Instruments, School of Precision

Instrument and Opto-eleclronic Engineering

University

in 300072 ^^na)关 Corresponding author, Ewiail： tjupipe@tju. edu. cnAbstract: Tosegment objects with abrupt change surface positioned at different depth, this paper

presented a flexible technique for 3D depth segmentation. The system consisted of one projector, one

camera, and the objects for segmentation. The first step was to establish the system for segmenta­tion. The second step was to cast the phase-shifted gratings onto the object surface. The gratings,which were modulatedby the 3D informa/tionof the objects, were then captured by the camera and sent to the computer for further processing. The wrapped phase sequence could then be calculated by

changing the sequence of the phase-shifted patterns and using the least squares algorithm. By applying the neighbor pixel difference algorithmto thewrapped phase maps, the edges for segmentation could be retrieved further. Finally, these edges could be optimized and sent for segmentation. The simula­tion result shows that the method caneffectively segment the complex objects with size 900 X 900

pixels, with the coresponding error reaching only two pixels. The experimental result shows that the收稿日期:2018-12-03;修订日期:2019-02-02.基金项目：国家重点研发计划“重大科学仪器设备开发”专项资助(No. 2016YFF0101802)

2460光学精密工程第27卷approach can segment objects with similar color precisely. The proposed method has the advantages of

lowcost, high precision, and can performthe task of 3D depth segmentation.Key words: image segmentation； three-dimensional depth segmentation； wrapped phase信息进行融合，从多维的角度寻求特征数据，进而

1引言达到分割的目的。然而，由于该方法存在着获取 物体的三维点云数据的中间过程，因此点云数据

三维深度分割的目的在于将不同深度的物体 进行分割，从而方便对采集的三维数据进行处理

与内容理解。随着当今高新技术产业对精度要求 的提高与计算机技术的发展，三维深度分割技术 逐渐在诸如图像语义理解、工业产品检测、三维重

建解包裹及图像去噪等多方面逐渐得到广泛运 用W在过去数十年的研究过程中，许多研究者

分别从不同的角度对三维图像的深度分割技术进 行了开发。三维深度分割技术为图像分割技术的一个分

支。最早出现的三维深度分割技术是基于点的深 度分割方法〔I,该方法的基本单元是像素点，并

通过设立像素点的颜色阈值对图像及三维数据整 体进行分割，这种方法存在计算消耗小的优势。

由于这种方法是基于颜色的，该技术难以对相同 或相似颜色的物体进行分割。除此之外，该方法

鲁棒性较低，因此该技术只能应用于较低精度的 图像分割场景。基于图的分割方法6切对基于点

的分割方法进行了改进，该方法通过检测不同物 体边界值的强度差实现分割；在实现过程中，这种

方法容依然易受到噪声的影响。近年来，随着计算能力的大幅提升，卷积神经 网络技术（如CNN，FCNs）「\"n〕被广泛运用于人 工智能的多方面领域。由于卷积神经网络具备准

确识别判断能力，该技术在二维及三维图像分割 领域取得了非常精确的识别与分割效果。在实现

过程中，该方法首先需要对大量的数据集进行学 习；在学习完成后，该技术则利用网络所习得的层

级特征对物体进行分割操作。因此，基于卷积神

经网络的深度分割技术的分割精度依赖于待训练 数据集的规模与准确程度，以及研究者在多参数 调参方面的熟练程度。基于数据融合的分割方法是一种相对低成本 并具备高处理速度能力的方法W在分割前， 该技术需要首先获取三维点云数据；在点云数据

的基础上将三维信息与诸如纹理、颜色等其他维

的误差将不可避免的影响分割精度「心\"\\本文提出了一种简单快速的方法，仅利用包

裹相位序列的不连续区域对深度不同的突变物体 进行分割。与现今的分割方法相比，本方法在无

需数据训练的前提下，即能精确的判断突变区域 的边界位置，实现三维深度分割。仿真与实验结

果验证了该技术具备计算消耗低、分割准确的 性质。2 深度分割系统的组成及工作原理2.1三维深度分割系统的硬件组成图1为三维深度分割系统的工作原理图，该 系统主要由投影仪，待分割物体与相机组成。与

传统结构光投影系统相似，该系统的投影仪、待

分割物以及相机构成了夹角为e的三角关系。投 影仪向被测物体投射相移光栅组，相移光栅组经

物体表面调制后，该图像信号由相机采集并送入 计算机系统进行数据运算，进而得出分割结果。投影仪

相机图1三维深度分割系统原理图Fig. 1 Image of 3D depth segmenation system2.2三维深度分割的算法实现在数据采集阶段，编号为A〜In的N步等间

第11期邓吉，等：不连续相位跳变点的三维深度分割2461距相移光栅条纹依次被投射至物体表面。其中采

127. 5；而整个光栅组将包含多周期的包裹相位

用N(Ng3)步等间距相移光栅组的数学表达式 值，提升测量鲁棒性。这些变量中，基本强度A,调制强度B与包 裹相位值为：I；(a:,y)= A + Bcos[h(c:, ,) + 5訂,(1)

其中：I；(z,y)表示第i幅相移光栅；A表示光栅 的基本强度，B表示光栅的调制强度；°(x,y)表

法求解获得：示包裹相位值，厲=2兀* //N表示每幅光栅的相

A —— Jill____________

》(兀E7N，,)位偏移量。在实际测量过程中，为了保证高信噪 比的测量效果，通常使得A与B的强度值取为2B[I；((, ,)cos 5； 丁 + [NN ' N

1 1另 1:((, ,)sin 5；丁(3)1：(尤,,)sin &(p =— a_rcta_ii ---------------------.

Ii(c, ,)cos &i='l》》N半圆环物体的测量结果；图2(b)显示由最小二

(4)乘法获取的包裹相位值。对包裹相位进行邻域差

分运算可获得如图2(c)所示的相位导数结果；由

由于调制强度可以反映物体的有效数据范围

(ROI),因此在实际的分割过程中第一步可以通

图中可见，相位导数值共存在两类值不为零的点@ 其中一类位于值为一兀/2或兀/2的奇异点处，该 点的相位导数幅值较高；另一类点位置与物体的 形貌突变区域重合，且相位导数幅值较低。在实

过设立简单的阈值将调制度低的阴影区域进行去 除。并因此获得物体的ROI区域R。际测量过程中，为消除外界噪声影响，相位导数不 为零点D(z,y)可由包裹相位的邻域差分运算 获得：D = {(((工 + 1,，)-卩((,，))< Tk }，(5)

其中，Th表示阈值,通常取0. 3〜0. 5。假设由光栅序列S (A, •，•••, In)经最小

二乘运算所得的包裹相位值为W (,)@若将光

栅序列分别更换为S?(…,)与 S3 ( Iro””<1(2 * N,3> ,* N人〉,•■ ,

* N,3>-2〉,

* N々>-1〉)则分别可获得另外两组包裹相位％ (,)与久

(H,,)。由于光栅顺序得到了改变，包裹相位与玄(X,)的相位跳变点位置

图2物体，包裹相位及包裹相位导数(图2(c)的较高值处)会随之改变。然而物体的 突变区域引起的相位突变位置独立于光栅组的 变化，并不会随光栅组的序列变化而产生改变。因此物体的表面不连续点集Dr可由公式(5)

Fig. 2 Object, wrapped phase and correspondingdeviation result of wrapped phase包裹相位值因此相位值包裹于(一8/2,兀/2)的范围。由于包 裹相位与物体的高度存在相关关系，因此在实际 的测量环境下，获取的包裹相位存在两类不同的

获得：Dt = Di 门 D2 门 D ,

(6)其中0((=1, 2, 3)可分别由S ,

(5)进行运算求解。S,经公式相位跳变点。图2(a)展示了实际情况下对一个Dt可作为整个ROI区域的分割线对存在深

2462光学精密工程第27卷度突变的物体及邻域标签「时的方法对被测物体

进行深度分割。其中待标签区域L(z,y)为：L(z,y) = R(a, y) — Dt(h, y) ,

(7)经Dt分割后，可利用四邻域标签法对被分割区域

进行标签分割运算，最终得到独立的分割结果。3仿真为测试该算法的运算能力，产生了如图3所

示的待仿真三维面型，该三维面型的面积大小为

900 pixelX 900 pixel;其连续变化的部分由mat­

lab 的peaks函数产生，除此之外，面型表面还包

含一个方块的突变区域及一个'O,型贯通孔，这 两个突变区域将对该算法的精确程度进行量化 验证。(a)侧面视图(b)正面视图(a) Lateral view(b) Front view图3待仿真物体三维形貌Fig. 3 Object for simulation图4三幅经过物体高度调制的相移光栅L，L和人Fig. 4 Gratings I［， L and I3 which are modulatedby the objects图4展示了经过物体高度调制的相移光栅， 经最小二乘解包裹及邻域差分运算可分别获

得如图5(a)~图5 (c)所示的包裹相位及图5(e)

〜图5(f)所示的不连续相位跳变点D, D2 与D。D,，D2与D经相交运算后可得如图6(a)所图5 (a)〜(c)包裹相位序列＜pi (，)，(，)与0(c,y)及对应的(d)〜(f)不连续区域Di，Da

与DFig. 5 (a)-(c) present wrapped phase sequence pand (d)-(f) show

corresponding discontinuous points Di， D2

andD of wrapped phase maps示的分割线Dt,整个ROI区域经Dt分割及四邻

域标签运算后，可获得如图6(b)所示的被标签结 果。图6(c)〜图6(e)分别展示了处于标签值为

3, 2, 1区域的三维面型。这些子区域显示，该算

法能对整个物体三维面型进行较好的分割。但是

图6(e)的红框显示，由于受到数值误差干扰，在

拐角处岀现了宽度大小为2像素的误判，从而导 致了误差。但整体而言，该算法能够精确判断物

体的突变区域，达到良好的分割效果(彩图见期刊 电子版)。第11期邓 吉，等：不连续相位跳变点的三维深度分割2463图6 (a)提取的分割线6(b)经四邻域标签法获得的标签区域(c)〜(e)被打标签3,2,1的三维

面型Fig. 6 (a) The segment lines Dr. (b) The labeledregions, (c)-(e) The regions labeledby the

labels 3,2,14 实验为验证所提岀的算法，我们搭建了如图7所 示的实验平台对该算技术行实验验证。该装置由 被测物体、加装12 mm焦距镜头的工业相机

(BFS-U3-13Y3N--C，分辨率 1 280 pixel X 1 024 pixel)以及投影仪组成(LightCrafter4500 ,分辨

率1 140 pixelX912 pixel)；相机与投影仪之间约

成30°的夹角。图7实验装置Fig. 7 Experimental setup4.1有效性验证如图8(a)〜图8(c)所示，三幅周期为60 pix-

el的相移光栅依次投射于物体表面。光栅条纹经

最小二乘运算及邻域差分运算处理后，可依次获

得如图9(a)〜图9(c)所示的包裹相位序列知(c,

y),滋(,,)与玄(c,)及对应于图9(d)〜图9(f)所示的非零差分点集D , D与D。图8 (a)〜(c)光栅采集图Fig. 8 (a)-(c) The phase-shifted patterns图9 (a)〜(c)包裹相位序列％ (x,),(,)与弱((,,)(d)〜(f)对应的圆整导数值D, D

与DFig. 9 (a)-(c) The wrapped phase sequence^ ( c,，),％((,,) and % ((, ,) (b) The deviation of the wrapped phase maps Di , D2 and D3将相移光栅带入式(2)可恢复得如图10(a) 所示的物体完整面型；将D,。2与D进行相交

运算可获得如图10(b)所示的分割线Dt,接着用图10 (a)被恢复物体图像(b)边界图像(c)被打标签的区域(d)-(f)对应的每个区域Fig. 10 (a) The recovered image (b) The edges for

depth segmentation (d)-(f) The sub-regions

2464光学精密工程第27卷分割线分割整个ROI区域并进行四邻域标签运 算可获得如图10(c)所示的区域标签值。分别将

处于标签值1, 2, 3的区域进行显示即可获得如

图10(d),图10(e),图10(f)所示的子区域。如图 所示的分割结果即先验知识判断表明该方法能够 很好的对不同深度的物体进行有效分割。4.2多物体分割及深度分割验证第二个实验对该算法在多个物体上的分割能 力进行验证。如图11所示，三个颜色相近、大小 形状不同的物体(软膏、充电宝与带三个支撑脚的

按摩器-由左至右依次放置在视场内；由于受前方

充电宝的遮挡，该视角只能显示按摩器的顶部与

两只支撑脚。经过光栅投影与采集，图12(a)显

示了分割的整体效果图，图12(b)〜图12(f)显示 了该技术所分割生成的相互独立的五部分。物体

的表面面型经格雷码加相移技术进行三维重建

后，图13显示了被测物体及所对应每个部分的三 维重建结果，该实验结果表明，本文所提岀的技术

图11待分割的多个物体Fig. 11 Objects for depth segmentation图12分割结果Fig. 12 Segmentation results能够对处于不同深度的不同部件进行有效分割。在三维点云的基础上，采用Rao®〕的方法进 行分割对比，图14(a)显示了 Rao方法的整体分

割结果，实验结果显示被测物体的主要部分被很 好的分割。然而如图14(b)所示，由于点云数据

不可避免的受到外界噪声的干扰(如低调制度、过 曝光)，因此在已分割物体的边界及中间处，岀现

了误分割的现象。(d)

■(e) (f)图13三维重建结果Fig. 13 Reconstruction results

图14 Rao方法分割结果((b)为局部放大图)Fig. 14 Result segmentedby Rao's method((b) isdetail view)4.3仪器夹角对分割的影响第三个实验针对夹角对分割的影响进行测

试，实验过程中将相机与投影仪的夹角依次调整 为45。与60。。图15显示了正常情况下的拍摄结

果，按摩器在图15(a)中显示了按摩器的支撑脚 被前方物体部分遮挡，而图15(b)中两只支撑脚

均被前方物体所完全遮挡。经过分割运算，图16 (a)〜图16(d)显示了仪 器夹角为45°时的分割结果，图16(e)〜图16(h)

显示了仪器夹角为60。的分割结果。实验结果表

明当仪器夹角为60°角时，该方法能够求解岀正 确的分割结果。然而当实验仪器之间的夹角调整第11期邓吉，等：不连续相位跳变点的三维深度分割2465为45。时，如图16(d)所示，按摩器的支撑脚未能 被提出的方法所分割。(a) 45° (b) 60°图15不同角度拍摄的物体Fig. 15 The objects in diffferent views图16 分割结果：(a)〜(d) 45°分割结果；(e)〜(h)

60°分割结果Fig. 16 Segmentation results with different intersec­

tion angle between projector and camera：

(a)-(d) 45；(e)-(h) 60°为进一步的研究分割失效的现象，图17(a)

显示了当实验仪器夹角为45。角时由该方法所获 取的包裹相位值。图17(b)为未能分割部分的局

部放大图，图中显示，由于该支撑脚处于相位不敏参考文献：口]王宇，王宝山，王田，等.面向遥感图像水域分割

的图像癇主动轮廓模型[J].光学精密工程，2018

26(3)： 698-707.WANG Y, WANG B SH, WANG T, et aZ. . Image entropy active contour models towards water area

segmentation in remote sensing image]J]. Opi.Precision Eng. , 2018, 26 (3)： 698-707. (in Chi­

nese)[2]温广瑞，徐斌，张志芬，等.基于差商的油液监测

铁谱图像自适应分割[J].光学精密工程，2017 25:1322-1330.(5)WEN G R, XU B, ZHANG ZH F, al. . Self-a­

感区「切，所以导致包裹相位在深度变化处的变化

并不明显；图17(c)为分割成功位置的局部放大 图，与上述情况相反，该部分显示深度变化处的相

位变化明显，因此导致该区域成功的被分割。图17 45°角的包裹相位图Fig. 17 Wrapped phase with intersection angleof45° between projector and camera5 结论本文提岀了一种不连续相位跳变点的三维深

度分割技术方法，该方法仅通过对物体投射三幅 相移光栅即能准确的对处于不同深度范围的物体

进行有效分割。仿真结果量化表明，在900 pixel

X900 pixel像素的复杂三维面型仿真情况下，该

算法的最大偏移误差仅为2 pixel。实验结果表 明，该算法能够对一致颜色的物体进行精确的分

割。除此之外，由于该分割方法无需获取三维点

云数据，相较于基于数据融合的深度分割方法，该

方法具备相对较高的分割鲁棒性。然而，由于受

相位敏感性的影响，当实验仪器处于一定夹角时 会存在分割失效的现象，未来将对分割所存在不

敏感区域的问题进行进一步的研究。daptive segmentationof oil monitoring ferrographic image based on difference quotientJ]. Op t. Preci­

sion Eng. , 2017, 25(5):1322-1330. (in Chinese)[3]邓吉，李健，封皓，等.编码条纹投影技术的阶次

校正算法[J].仪器仪表学报，2018, 39(8)： 250­

258.DENG J, LI J, FENG H, et al. . Fringe order cor­rection algorithm for code-based fringe projection

profilometry[J]. Chinese Joumal of Scientific In­

strument ,2018, 39(8)： 250-25 8. (inChinese)[]肖启阳，李健，吴思进，等.基于能量的DSPI相位

图正余弦降噪[J].光学 精密工程，2018, 26(4)：

936-943.XIAO Q Y, LI J, WU S J,就皿…Denoismg of DS-2466光学精密工程第27卷PI phase map using sine-cosine filtering and signalenergy^J]. Prec诚on Eng. , 2018 , 26 (4)：936-943. (in Chinese)[5] YANG X, ZENG C N, LUO J, et al. . Absolutephase retrieval using one coded pattern and geomet­ric constraints of fringe projection system]J]. Ap­

plied Sciences, 2018, 8(12)： 2673.[6] JEON B K, JUNG Y B, HONG K S. Image seg-mentationby unsupervised sparse clustering [C].Application of Computer Vision, Wacv/notions051 Sme祕h IEEE Workshops on. IEEE, 2005.[] CHERIET M, SAID J N, SUEN C Y.A recursivethresholding technique for image segmentation [J ].IEEE Transactions on Image Processing, 1998 , 7(6)： 918-921.[]尹诗白，孔垂涵，王一斌.非监督层次化模糊相关的人体红外图像分割[J].光学 精密工程，2018,26(6)： 1542-1550.YIN S B, KONG C H, WANG Y B. Unsupevsedhierarchical human target infrared image segmenta­

tion through fuzzy correlation [J]. Op t. PrecisionEng. , 2018, 26(6)： 1542-1550. (in Chinese)[] FELZENSZWALB P F, HUTTENLOCHER D P.Efficient graph-based image segmentation [ J ]. In­

ternational Joumal of Computer Visdon, 2004, 59(2)： 167-181.[10] SHELHAMERE, LONG J, DARRELLT. Fullyconvolutional networks for semantic segmentation[J]. IEEE Transactions on Pattern Analysis andMachine Intelligence, 2017, 39(4)： 640-651.[11] DOSOVITSKIY A, FISCHER P, ILG E, et al..FlowNet： learning optical flow with convolutionalnetworks[C]. 2015 IEEE International Confer­

ence on Computer Vision (ICCV) , Decewber* 7 -13 ,2015. San枕ago. Ne仞YoM, USA： IEEE, 2015.作者简介:邓 吉（1993 — ）,男，博士，2017年于

合肥工业大学获得硕士学位，现为天津 大学精密仪器与光电子工程学院博士

生，主要研究方向为结构光三维投影测 量技术。E-mail：dengji@tju. edu. cn[12]FUHZ,XUD,LINS, eW Object-based RG-

BD image co-segmentation with mutex constraint [C]//2015 IEEE Conference on Computer Vision

and Pattern Recognition ( CVPR) , June 7 -12,

2015. Eoston, MA, USA. Nes York, USA：

IEEE, 2015.[13]BLEIWEISS A, GERMAN M. Fusing Time-of-

Flight Depth and Color for Real-Time Segmenta­

tion and Tracking E M]. Dynamic 3D Imaging.

Berlin, Heidelberg： Springer Berlin Heidelberg,

2009： 58-69.[14]RAO D, LE Q V, PHOKA T, et al.. Grasping

novel objects with depthsegmentation[C]. 2010

IEEE/RSJ International Conference on Intelli­gent Robots and Systems, October 18 -22, 2010. Taip曲 NesYorb, USA： IEEE, 2010.[15]DENG H X, DENG J, MA M C,少刃…3D mfor-

mationdetection with novel five composite fringe patterns[J]. Modem Physics Letters B, 2017 , 31 (19/20/21)： 1740088.[16]MA M C, YAO P C, DENG J, et al. . A mor­

phology phase unwrapping method with one code grating [J]. Revieuu of Scientific Instruments, 2018, 89(7)： 073112.口 7]MERNER L, WANG Y , ZHANG S. Accurate calibration for3D shape measurement system u­sing abinary defocusing technique [J]. Optics &

Lasers in Engineering, 2013 , 51(5) : 514-519.

口 8]CHEN X C, WANG Y W, WANG Y J, et al.. Quantized phase coding and connected region labe­

ling forabsolute phase retrieval [J]. Optics Ex­

press, 2016, 24(25)： 28613.[19]WANG Y J, ZHANG S. Optimal fringe angle se­

lection fordigital fringe projection technique [J].

Applied Optics, 2013, 52(29)： 7094.李健（1974 — ）,男，山东人，教授，博

士生导师，分别于1994年.1997年和

2000年在天津大学获得学士学位、硕

士学位和博士学位。主要从事管道泄 漏检测、管道安全预警和新型管道内检 测器。E-mail：tjupipe@tju. edu. cn