(12)发明专利申请
(10)申请公布号 CN 106203375 A(43)申请公布日 2016.12.07
(21)申请号 201610570904.7(22)申请日 2016.07.20
(71)申请人 济南大学
地址 250022 山东省济南市南辛庄西路336
号(72)发明人 杨昆澎 董吉文 李恒建 (74)专利代理机构 济南誉丰专利代理事务所
(普通合伙企业) 37240
代理人 李茜(51)Int.Cl.
G06K 9/00(2006.01)G06K 9/36(2006.01)G06T 3/00(2006.01)G06T 3/40(2006.01)G06T 5/40(2006.01)
权利要求书3页 说明书6页 附图3页
G06T 7/00(2006.01)
(54)发明名称
一种基于人脸图像中人脸和人眼检测的瞳孔定位方法(57)摘要
本发明公开了一种基于人脸图像中人脸和人眼检测的瞳孔定位方法，包括训练人脸分类器和人眼分类器，利用人脸分类器检测和提取人脸区域图像，对人脸区域图像进行预处理后利用人眼分类器检测和提取人眼区域图像，对人眼区域图像进行二值化及形态学处理，采用区域投影的方法缩小检测范围，使用重心法来进行精确的瞳孔中心点定位。应用本发明对人脸图像进行实验，结果表明，可以在瞳孔定位的过程中缩小搜索范围，提高瞳孔定位的准确性和速度。
CN 106203375 ACN 106203375 A
权 利 要 求 书
1/3页
1.一种基于人脸图像中人脸和人眼检测的瞳孔定位方法，其特征在于，包括如下步骤：1.1.训练人脸分类器和人眼分类器；1.2.采集人脸原始图像；
1.3.利用步骤1.1中的人脸分类器对步骤1.2中采集的人脸原始图像进行检测，提取出人脸区域图像；
1.4.对经步骤1.3提取的人脸区域图像进行图像预处理；
1.5.利用步骤1.1中的人眼分类器对经步骤1.4处理后的图像进行检测，提取出人眼区域图像；
1.6.对经步骤1.5得到的人眼区域图像进行二值化及形态学处理，采用区域投影的方法缩小检测范围，进行人眼的粗定位；
1.7.对经步骤1.6处理后的图像使用重心法来进行精确的瞳孔中心点定位。2.根据权利要求1所述的基于人脸图像中人脸和人眼检测的瞳孔定位方法，其特征在于，所述的人脸分类器和人眼分类器为利用AdaBoost算法构建的具有haar特征的级联分类器。
3.根据权利要求2所述的基于人脸图像中人脸和人眼检测的瞳孔定位方法，其特征在于，所述的级联分类器的构建方法为：
3.1.提取人脸图像样本集的haar特征；
3.2.采用AdaBoost算法训练出若干基于haar特征的弱分类器，将所述若干弱分类器构造成强分类器；
3.3.将若干由步骤3.2得到强分类器级联得到级联分类器。
4.根据权利要求1所述的基于人脸图像中人脸和人眼检测的瞳孔定位方法，其特征在于，步骤1.4中的图像预处理包括如下步骤：
4.1.根据人脸的面部特征，使用“三庭五眼”的方法，将步骤1.2中获得的人脸原始图像从距人脸定位矩形的顶部1/8处到距该矩形底部1/2处为止的部分，作为新的搜索范围；
4.2.对步骤4.1得到的新的搜索范围进行图像增强，去除图像中存在的噪声点；4.3.对经步骤4.2处理得到的人眼区域图像进行灰度化处理，得到灰度图像；4.4.对经步骤4.3处理的图像进行平滑处理；
4.5.对经步骤4.4处理的图像进行直方图均衡化处理。
5.根据权利要求1所述的基于人脸图像中人脸和人眼检测的瞳孔定位方法，其特征在于，步骤1.6中的图像二值化处理包括：
5.1.利用迭代的方法确定二值化的阈值T；
5.2.将提取的图像中的每个像素的像素值与阈值T进行比较，然后将相应的值转换成0或255，当一个像素值等于或大于阈值T时，该处的数值转换为255；否则，转换为0，如式(1.1)所示：
p(x,y)＝255,g(x,y)≥T (1.1)p(x,y)＝0,otherwise在式(1.1)中，p(x,y)是点(x,y)处待转换的像素值，g(x,y)为灰度图像中在点(x,y)处的像素值，T代表阈值。
6.根据权利要求5所述的基于人脸图像中人脸和人眼检测的瞳孔定位方法，其特征在
2
CN 106203375 A
权 利 要 求 书
2/3页
于，所谓迭代法是基于逼近的思想，其步骤如下：
6.1.求出图像的最大灰度值和最小灰度值，分别记为ZMAX和ZMIN，令初始阈值T0＝(ZMAX+ZMIN)/2；
6.2.根据阈值TK(K≥0)将图像分割为前景和背景，分别求出两者的平均灰度值ZO和ZB；6.3.求出新阈值TK+1＝(ZO+ZB)/2；6.4.若TK＝TK+1，则所得即为阈值T；否则转至第(2)步，继续计算。
7.根据权利要求1所述的基于人脸图像中人脸和人眼检测的瞳孔定位方法，其特征在于，步骤1.6中的形态学处理包括：对二值化的图像采用形态学中的开运算方法，消除较小的目标，并将不连续的区域较好的分割开，然后平滑较大区域的目标边界，所述开运算方法如式(1.2)所示：
。
8.根据权利要求7所述的基于人脸图像中人脸和人眼检测的瞳孔定位方法，其特征在于，所述开运算的公式中含有膨胀和腐蚀，如式(1.3)和式(1.4)所示：
。
9.根据权利要求1所述的基于人脸图像中人脸和人眼检测的瞳孔定位方法，其特征在于，步骤1.6中采用区域投影的方法缩小检测范围，进行人眼的粗定位包括：
9.1.将眼睛窗口在水平和垂直方向上进行平均分割，假设垂直分割和水平分割的个数分别为m、n，分割后水平方向的区域宽为w，垂直方向的高为h，则第i区域的垂直投影与第j区域的水平投影函数分别如式(1.5)、(1.6)所示：
式中，pv(x)和ph(y)分别表示在第x列方向的垂直投影和在第y行方向的水平投影；
9.2.垂直投影灰度最大值区域与水平投影灰度最大值区域的交集即是眼睛图像中灰度值最大的区域，从灰度最大的区域向周围扩展，即与周围的领域合并，将瞳孔图像尽可能地包含在此区域内。
10.根据权利要求1所述的基于人脸图像中人脸和人眼检测的瞳孔定位方法，其特征在于，使用重心法来进行精确的瞳孔中心点定位具体为：
利用重心法对包含瞳孔的图像进行处理，得到的结果即为该人脸图像中瞳孔的中心位置点，重心法的公式如(1.7)所示。
3
CN 106203375 A
权 利 要 求 书
。
3/3页
4
CN 106203375 A
说 明 书
1/6页
一种基于人脸图像中人脸和人眼检测的瞳孔定位方法
技术领域
[0001]本发明涉及一种瞳孔定位方法，具体涉及一种基于人脸图像中人脸和人眼检测的瞳孔定位方法。
背景技术
[0002]生物特征识别的身份认证已被证明是一种有效的方法来验证一个人的识别和更安全比传统的密码，密码，或硬件基于令牌的人类识别系统。目前，有几种生物识别技术，如人脸、指纹、虹膜和手的几何虹膜识别已被证明在独立的研究是最准确的生物识别，并吸引了大量的关注。[0003]此外，跟踪技术，被称为眼睛跟踪技术，是使用电子，机械，光学和其他检测手段获得用户的眼睛的当前状态，然后分析人眼技术的当前的视线位置。目前最流行的基于视频的方法。这种方法是通过安装在眼睛前面的摄像机，实时捕捉眼睛的瞳孔图像。然后，该方法可以计算出人眼的当前的视线位置，从而实现了使用视线和计算机交互的目的。[0004]因此，瞳孔中心定位是虹膜识别和眼睛跟踪领域的一个重要的研究方向，是眼球运动旋转研究的第一步。由于瞳孔独特的几何特征，可以将其视为一个标准的圆，这样更容易训练瞳孔目标。另外，研究方法也会更丰富，更准确和稳定。目前，有许多算法来确定瞳孔的中心，其中质心法是最简单的方法之一。首先，它将瞳孔图像转换成二值图像，这样就可以很容易地分割瞳孔和图像的其他部分。以瞳孔质心作为瞳孔的中心。此外，利用边界拟合的原则来进行瞳孔边界的提取，然后进行圆或椭圆的拟合。最后，检测出的圆的中心作为瞳孔的中心。质心法计算简单，计算量小，稳定性好，可通过硬件实现。它适用于简单的背景图像，对于更复杂的图像，该方法的准确性显着降低。基于瞳孔图像的边界拟合规则，如果瞳孔图像不完全，实验的准确性将受到很大的影响。发明内容
[0005]本发明要解决的技术问题是，提供一种基于人脸图像中人脸和人眼检测的瞳孔定位方法，该瞳孔定位方法创新性的应用了人脸和人眼检测、区域投影来缩小图像的大小，使得感兴趣的区域中尽可能的只包含瞳孔的信息，最后针对这一区域使用重心法标定瞳孔中心，从而提高了瞳孔定位的准确性和速度。[0006]为解决上述技术问题，本发明采用的技术方案是：
[0007]一种基于人脸图像中人脸和人眼检测的瞳孔定位方法，包括如下步骤：[0008]1.1.训练人脸分类器和人眼分类器；[0009]1.2.采集人脸原始图像；
[0010]1.3.利用步骤1.1中的人脸分类器对步骤1.2中采集的人脸原始图像进行检测，提取出人脸区域图像；
[0011]1.4.对经步骤1.3提取的人脸区域图像进行图像预处理；
[0012]1.5.利用步骤1.1中的人眼分类器对经步骤1.4处理后的图像进行检测，提取出人
5
CN 106203375 A
说 明 书
2/6页
眼区域图像；
[0013]1.6.对经步骤1.5得到的人眼区域图像进行二值化及形态学处理，采用区域投影的方法缩小检测范围，进行人眼的粗定位；
[0014]1.7.对经步骤1.6处理后的图像使用重心法来进行精确的瞳孔中心点定位。[0015]在本发明的上述技术方案中，应用人脸和人眼分类器进行图像检测，提取出相应的人脸和人眼区域图像，对提取到的人眼区域图像进行二值化及形态学处理，并采用区域投影的方法缩小检测范围，使得感兴趣的区域中尽可能的只包含瞳孔的信息，最后针对这一区域使用重心法标定瞳孔中心，从而提高了瞳孔定位的准确性和速度。[0016]作为上述技术方案的进一步改进，所述的人脸分类器和人眼分类器为利用AdaBoost算法构建的具有haar特征的级联分类器。所述的级联分类器的构建方法为：[0017]3.1.提取人脸图像样本集的haar特征；
[0018]3.2.采用AdaBoost算法训练出若干基于haar特征的弱分类器，将所述若干弱分类器构造成强分类器，这种强分类器具有较高的分类能力；
[0019]3.3.将若干由步骤3.2得到强分类器级联得到级联分类器。[0020]将人脸和人眼的haar特征引入AdaBoost算法中，可以从大量的特征中逐步选取最优的haar特征，利用AdaBoost算法构建的具有haar特征的人脸和人眼级联分类器不仅可以减少搜索时间，提高搜索效率，而且还能避免周围噪声的干扰。[0021]作为上述技术方案的进一步改进，步骤1.4中的图像预处理包括如下步骤：[0022]4.1.根据人脸的面部特征，使用“三庭五眼”的方法，将步骤1.2中获得的人脸原始图像从距人脸定位矩形的顶部1/8处到距该矩形底部1/2处为止的部分，作为新的搜索范围；
[0023]4.2.对步骤4.1得到的新的搜索范围进行图像增强，去除图像中存在的噪声点；[0024]4.3.对经步骤4.2处理得到的人眼区域图像进行灰度化处理，得到灰度图像；[0025]4.4.对经步骤4.3处理的图像进行平滑处理；
[0026]4.5.对经步骤4.4处理的图像进行直方图均衡化处理。[0027]通过上述步骤进一步缩小搜索范围，对图像进行优化处理。[0028]作为上述技术方案的进一步改进，步骤1.6中的图像二值化处理包括：[0029]5.1.利用迭代的方法确定二值化的阈值T；
[0030]5.2.将提取的图像中的每个像素的像素值与阈值T进行比较，然后将相应的值转换成0或255，当一个像素值等于或大于阈值T时，该处的数值转换为255；否则，转换为0，如式(1.1)所示：
[0031]
在式(1.1)中，p(x,y)是点(x,y)处待转换的像素值，g(x,y)为灰度图像中在点(x,
y)处的像素值，T代表阈值。
[0033]所谓迭代法是基于逼近的思想，其步骤如下：[0034]6.1.求出图像的最大灰度值和最小灰度值，分别记为ZMAX和ZMIN，令初始阈值T0＝(ZMAX+ZMIN)/2；
[0032]
6
CN 106203375 A[0035]
说 明 书
3/6页
6.2.根据阈值TK(K≥0)将图像分割为前景和背景，分别求出两者的平均灰度值ZO
和ZB；
[0036]
6.3.求出新阈值TK+1＝(ZO+ZB)/2；
[0037]6.4.若TK＝TK+1，则所得即为阈值T；否则转至第(2)步，继续计算。[0038]从原始图像中提取的人眼图像具有二元属性，并且考虑到人眼区域图像的特殊性，所以采用了迭代的方式来确定二值化的阈值。这个方法可以很好地区分目标和背景，并与以前的方法相比，大大提高了处理速度。[0039]作为上述技术方案的进一步改进，步骤1.6中的形态学处理包括：对二值化的图像采用形态学中的开运算方法，消除较小的目标，并将不连续的区域较好的分割开，然后平滑较大区域的目标边界，所述开运算方法如式(1.2)所示：
[0040][0041][0042][0043][0044]
其中，开运算的公式中含有膨胀和腐蚀，如式(1.3)和式(1.4)所示：
通过上述处理有效滤除噪声，保留图像的原有信息。[0045]作为上述技术方案的进一步改进，步骤1.6中采用区域投影的方法缩小检测范围，进行人眼的粗定位包括：
[0046]9.1.将眼睛窗口在水平和垂直方向上进行平均分割，假设垂直分割和水平分割的个数分别为m、n，分割后水平方向的区域宽为w，垂直方向的高为h，则第i区域的垂直投影与第j区域的水平投影函数分别如式(1.5)、(1.6)所示：
[0047]
[0048]
式中，pv(x)和ph(y)分别表示在第x列方向的垂直投影和在第y行方向的水平投影；[0050]9.2.垂直投影灰度最大值区域与水平投影灰度最大值区域的交集即是眼睛图像中灰度值最大的区域，从灰度最大的区域向周围扩展，即与周围的领域合并。通过上述步骤可以将瞳孔图像尽可能地包含在此区域内，然后对该区域进行下一步的处理。[0051]作为上述技术方案的进一步改进，使用重心法来进行精确的瞳孔中心点定位具体为：
[0052]利用重心法对包含瞳孔的图像进行处理，得到的结果即为该人脸图像中瞳孔的中心位置点，重心法的公式如(1.7)所示。
[0053]
[0049]
7
CN 106203375 A
说 明 书
4/6页
[0054][0055]
综上，本发明一种基于人脸图像中人脸和人眼检测的瞳孔定位方法创新性的应用
了人脸和人眼检测、区域投影来缩小图像的大小，使得感兴趣的区域中尽可能的只包含瞳孔的信息，最后针对这一区域使用重心法标定瞳孔中心，从而提高了瞳孔定位的准确性和速度。
附图说明
[0056]下面结合附图和具体实施方式对本发明做进一步的说明。[0057]图1为本发明过程示意图。
[0058]图2为本发明实施例1的原始图像。[0059]图3为对图2进行人脸检测和“三庭五眼”法处理后得到的图像。[0060]图4为对图3中框定的区域进行灰度化处理后得到的图像。[0061]图5为对图4进行平滑处理后得到的图像。[0062]图6为对图5进行直方图均衡化后得到的图像。[0063]图7为对图6进行人眼检测后得到的检测区域图像。[0064]图8为对检测出的人眼区域进行二值化处理之后，得到的左眼区域投影。[0065]图9为对检测出的人眼区域进行二值化处理之后，得到的右眼区域投影。[0066]图10为采用本发明实施例1的方法进行实验得到的瞳孔定位后的图像。[0067]图11为采用本发明实施例2的方法进行实验得到的瞳孔定位后的图像。[0068]图12为采用本发明实施例3的方法进行实验得到的瞳孔定位后的图像。
具体实施方式
[0069]图1示出了本发明具体实施方式的实施过程，包括训练人脸分类器和人眼分类器；采集人脸原始图像；使用人脸分类器检测人脸原始图像，提取人脸区域图像；对提取的人脸区域图像进行图像预处理；使用人眼分类器进行检测，提取出人眼区域图像；对人眼区域图像进行二值化及形态学处理，采用区域投影的方法缩小检测范围，进行人眼粗定位；使用重心法进行瞳孔定位。[0070]实施例1
[0071]使用质心法、区域增强法以及本发明的方法对图2进行实验，该图片为正人脸图像。图3为对图2进行人脸检测和“三庭五眼”法处理后得到的图像，图4为对图3中框定的区域进行灰度化处理后得到的图像，图5为对图4进行平滑处理后得到的图像，图6为对图5进行直方图均衡化后得到的图像，图7为对图6进行人眼检测后得到的检测区域图像，图8为对检测出的人眼区域进行二值化处理之后，得到的左眼区域投影，图9为对检测出的人眼区域进行二值化处理之后，得到的右眼区域投影，图10为采用本发明的方法经实施例1得到的瞳孔定位后的图像。
[0072]利用本发明的方法得出的左右眼的坐标为(154，227)、(266，224)，平均运算时间约为1.646毫秒；质心法得出的左右眼坐标为(152，227)、(270，225)，平均运算时间约为
8
CN 106203375 A
说 明 书
5/6页
1.706毫秒；区域增强法得出的结果为(154，227)、(268，220)，平均运算时间约为1.681毫秒。实施例1实验结果如表1所示：[0073]表1
[0074]
方法左眼坐标右眼坐标平均时间(ms)本发明方法(154,227)(266,224)1.646质心法(152,227)(270,225)1.706区域增强法(154,227)(268,220)1.681[0075]由表1可知，在运算的平均耗时方面，本方法比质心法和区域增强法要快约0.06毫秒和0.035毫秒。[0076]实施例2
[0077]同样是用实施例1中的三种方法对图11进行实验。在实施例2中，本方法得出的左右眼的坐标为(185，213)、(266，210)，平均运算时间约为1.422毫秒；质心法得出的左右眼坐标为(184，211)、(270，209)，平均运算时间约为1.429毫秒；区域增强法得出的结果为(184，211)、(271，210)，平均运算时间约为1.435毫秒。实施例2实验结果如表2所示：[0078]表2
[0079]
方法左眼坐标右眼坐标平均时间(ms)本发明方法(185,213)(266,210)1.422质心法(184.211)(270,209)1.429区域增强法(184,211)(271,210)1.435[0080]由表2可知，实施例2也验证了本发明的方法的运算速度要比另外两种方法快。[0081]实施例3
[0082]实施例3中用来检测的图12与之前两个实施例的检测图片有所不同，实施例3中的图12中的人脸头像具有一定程度的倾斜，此因素也影响了本发明方法的运算效率。实施例3的实验结果如表3所示。由表3可知，本发明方法得出的左右眼的坐标为(517，432)、(687，456)，平均运算时间约为3.249毫秒；质心法得出的左右眼坐标为(515，432)、(688，454)，平均运算时间约为3.185毫秒；区域增强法得出的结果为(517，429)、(684，451)，平均运算时间约为3.234毫秒。本发明方法比质心法的平均运算时间慢约0.064毫秒，比区域增强法慢约0.015毫秒。从三种方法定位的左右眼的坐标就能看出，图12中右眼所处的位置要比左眼高，也就是说人脸头像向左有一定程度的倾斜。通过实验可知，此等程度的倾斜会影响本发明方法的搜索效率，根据AdaBoost算法进行人眼检测的规则可知，一般在正脸图像中进行人眼检测时，搜索顺序是从上至下，从左至右，所以一般是先得到左眼坐标，再得到右眼坐标。但脸部头像发生倾斜时，根据搜索顺序，是先得到右眼坐标，再得到左眼坐标，这样做便会大大的加大搜索的时间，影响算法的运算效率。[0083]表3
[0084]
方法
本发明方法左眼坐标(517,432)右眼坐标(687,456)
9
平均时间(ms)3.249
CN 106203375 A
说 明 书
6/6页
质心法(515,432)(688,454)3.185区域增强法(517,429)(684,451)3.234[0085]本发明方法在一般情况下，加快了人眼定位的速度，提高了运算效率。另外，由于本发明方法是在人脸图像中进行瞳孔的中心定位，所以在方法设计时，可以忽略眼睫毛和眼睑对眼睛的影响。
[0086]上面结合附图和具体实施方式以及实施例对本发明进行了进一步的说明，但本发明并不限于上述实施方式和实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。
10
CN 106203375 A
说 明 书 附 图
1/3页
图1
图3
图2
图4
11
CN 106203375 A
说 明 书 附 图
图5
图7
图6
图8
图9
图10
12
2/3页
CN 106203375 A
说 明 书 附 图
3/3页
图11
图12
13
因篇幅问题不能全部显示，请点此查看更多更全内容