第42卷 第1期 VO1.42 ·计算机工程 2016年1月 January 2016 No.1 Computer Engineering 人工智能及识别技术· 文章编号:1000.3428(2016)O1.0168-06 文献标识码:A 中图分类号:TP18 基于极限学习机与子空间追踪的人脸识别算法 张建明,刘阳春,吴宏林 (长沙理工大学计算机与通信工程学院,长沙410114) 摘要:极限学习机(ELM)与稀疏表示分类(SRC)算法被广泛应用于人脸识别中。ELM学习速度快,但不能很 好地处理噪声图像,SRC对噪声具有鲁棒性,但计算复杂度较高。针对上述2种算法的优缺点,利用子空间追踪算 法求解稀疏系数,提出一种改进的人脸识别算法,从而达到高识别率与快速的识别效果。该算法根据测试样本的 ELM实际输出向量判断是否为噪声图像,干净图像直接依据ELM输出向量进行分类,噪声图像采用子空间追踪 算法结合SRC框架来分类。在扩展的Yale B和ORL人脸数据库上的实验结果表明,该算法不仅识别率高,且识 别速度快。 关键词:人脸识别;极限学习机;稀疏表示;稀疏编码;子空间追踪 中文引用格式:张建明,刘阳春,吴宏林.基于极限学习机与子空间追踪的人脸识别算法[J].计算机工程,2016, 42(1):168—173. 英文引用格式:Zhang Jianming,Liu Yangchun,Wu Honglin.Face Recognition Algorithm Based on Extreme Learning Machine and Subspace Pursuit[J].Computer Engineering,2016,42(1):168—173. Face Recognition Algorithm Based on Extreme Learning Machine and Subspace Pursuit ZHANG Jianming。LIU Yangchun.WU Honglin (School of Computer&Communication Engineering,Changsha University of Science&Technology,Changsha 4101 14,China) 【Abstract】Extreme Learning Machine(ELM)and Sparse Representation based Classification(SRC)algorithm are applied to face recognition widely.ELM has speed advantage while it can not handle noise well,whereas SRC shows significant robustness to noise while it suffers high computational cost.According to the advantages and disadvantages of two algorithms,this paper proposes a hybrid approach combining extreme learning machine and Subspace Pursuit(SP)for face recognition,which incorporates their respective advantages and uses subspace pursuit method to optimize solving sparse representation coeficientsf in SRC.According to the analysis of ELM actual output to estimate whether the test sample is a noisy image,clean image directly uses ELM actual output to classify,and noisy image applies SP with SRC method to classify.Experimental results show that the novel algorithm has high recognition rate and speed advantage in face recognition on extended Yale B and ORL face database respectively. 【Key words】face recognition;Extreme Learning Machine(ELM);sparse representation;sparse coding;Subspace Pursuit (SP) DOI:10.3969/j.issn.1000—3428.2016.01.030 1 概述 人脸识别是现代生物信息识别中的一项重要技 术,一直以来也是机器视觉与模式识别领域中的研 究热点与难点。人脸是一种复杂、多变、高维的模 式,尽管人们识别熟悉的人脸是容易的,对机器来说 如何准确识别出人脸仍是一件困难的事情…。 人脸识别,即对于给定的人脸图像,利用已经存 储的人脸数据库确认该图像中人脸的身份。一般包 含2个关键步骤 :特征提取与分类识别。特征提 取是指通过某种变换手段对原始图像实现降维,使 得降维后的特征向量能够准确地表示出原始图像的 基金项目:国家自然科学青年基金资助项目(61202439);湖南省教育厅优秀青年基金资助项目(12B003);湖南省交通运输厅科技计划 基金资助项目(201334);2015年湖南省研究生科研创新基金资助项目(CX2015B369)。 作者简介:张建明(1976一),男,副教授、博士,主研方向为人脸识别、图像处理;刘阳春,硕士研究生;吴宏林,博士。 收稿日期:2014-12-02 修回日期:2015-O1-27 E·mail:31717561@qq.com 第42卷第1期 张建明,刘阳春,吴宏林:基于极限学习机与子空间追踪的人脸识别算法 169 某种信息。不同的特征提取方法对传统人脸识别算 法的识别率有很大影响,并且这些识别算法对噪声、 遮挡、损坏等情况鲁棒性不强,从而在实际应用中受 到限制。为此,文献[3]提出基于SRC的人脸识别 方法:假设测试样本可以用来自同一类训练样本的 线性组合表示,通过最小化L.范数 求得该样本的 稀疏系数,最后根据最小拟合误差来确定分类结果。 该方法对噪声具有较强的鲁棒性 ,并且不同的特 征提取方法对它的识别率影响不大。影响基于稀疏 表示人脸识别性能的关键是稀疏编码,传统的稀疏 编码算法有基追踪(Basis Pursuit,BP)、基追踪去噪 (Basis Pursuit Denoising,BPDN) 、匹配追踪 (Matching Pursuit,MP)、正交匹配追踪(Orthogonal Matching Pursuit,OMP)H 等。BP以及BPDN算法 通过最小化L.范数将信号稀疏表示问题定义为一 类有约束的极值问题,进而转化为线性规划问题进 行求解,计算非常复杂。MP、OMP属于贪婪算法, 通过原子与信号的相关性确定稀疏系数中非零值的 位置索引,在算法迭代过程中,一旦原子被选择后, 就不再进行优化更新,使得人脸图像在这些原子上 的重构性能较差。子空间追踪 算法引入回溯迭 代优化思想,在迭代过程中通过不断优化更新候选 支撑向量集来选择原子,因此求解出的稀疏系数能 够较好地重构人脸,提高识别率。SP算法在每次迭 代过程中都要进行矩阵求逆运算,计算复杂度较高。 但与计算非常复杂的BP和BPDN算法相比,sP算 法的计算复杂度是较低的。 稀疏表示分类算法已经广泛地应用于计算机视 觉与模式识别领域。除此之外,常用的分类方法还 有支持向量机(Support Vector Machine,SVM) 、 极限学习机(ELM)… 以及Adaboost算法 。 ELM是一种新的单隐层前馈神经网络学习算法,它 只需要在训练样本前设置隐藏层神经单元的个数, 随机产生输入权值和偏置向量,就能得到唯一最优 的输出权值,具有学习速度快且泛化性能好的优点。 将ELM应用于人脸识别中 ,识别速度非常快,但 对噪声鲁棒性不强,对于某些有遮挡、光照变化等情 况的人脸图像,识别率会急剧下降。 ELM算法学习速度快,但不能很好地处理噪声 图像;SRC对噪声具有鲁棒性,但计算复杂度较高。 针对这2种算法的优缺点,文献[14]将ELM和SRC 算法结合,并使用BPDN算法求解SRC方法的稀疏 系数,提出了ELM—BPDN分类算法,BPDN算法通 过最小化L 范数将信号稀疏表示问题转化为线性 规划问题进行求解,计算非常复杂。本文在文 献[14]的基础上,提出ELM—SP算法,利用sP算法 优化SRC方法的稀疏系数求解,减少时间复杂度, 将ELM—SP应用到人脸识别中以达到高识别率、快 速的识别效果。 2本文相关模式分类方法 2.1极限学习机 极限学习机是一种新的单隐层前馈神经网络训 练方法,具有训练参数少、学习速度快等优点。给定 JV个训练样本( ,,f,),J=1,2,…,|V,f,是样本 ,的期 望输出向量, f=(Xj1,Xj2,…, f ) ∈ ,tj =(tj。,f『2,…,tj ) ∈ ,m,n分别是输入、输出向量 的长度,隐藏层单元的数目为L,激活函数为g( ), ELM模型可以表示为: L ∑g(i=1 ’., · ,+bi) f=o ,I『=1,2,…,Ⅳ(1) 其中,Oj是样本 ,的实际输出向量;w =(W W『2,…, W ) 是连接隐藏层第i个单元与输入单元的权值向 量;b 是第i个隐单元偏置值; =(卢 卢 …,卢 ) 是连接隐藏层第i个单元与输出单元的权值向量; w · ,表示向量w 与 ,的内积。ELM模型式(1)零 误差地逼近Ⅳ个训练样本,即∑l l0,一tj ll=0,也就 是说存在’., ,b ,3/ 使得式(2)成立: ∑g( ‘ +bi)卢 = ,J=1,2,…,N (2) 式(2)中的Ⅳ个等式可以用矩阵表示: 邯=T 其中,日,3/,T如式(3)所示。 r l g(_I.,l。 l+b1) … g(wL‘ ; 1+bL)]l lg(w。。 +b。)…g(w ‘ +b )J 卢 = ,T= (3) : ● 卢 在ELM训练过程中,随机给定输入权值向量 和偏置向量b,那么隐藏层输出矩阵日就变成一个 确定的矩阵,前馈神经网络的训练就可以转化成最 小二乘解的问题,只需要求出输出权值矩阵的最小 二乘解就完成了整个神经网络的训练,输出权值矩 阵 =日 T。 ELM可以直接用于多类物体分类 ,而且它的 网络结构比传统的神经网络学习方法更简单,因此 基于ELM的人脸识别算法具有速度上的优势。但 ELM不能很好地处理噪声图像,针对某些有遮挡、 光照变化、角度变化等情况的人脸图像,它的识别率 会急剧下降。 2.2子空间追踪算法及其在分类中的应用 假设有z类人脸,每张人脸图像拉成一列,形成 170 计算机维的列向量,矩阵D =[d ,d ,…,d .]∈ ~ 代表第i类训练样本,向量 代表第i个人的第 个 f 样本,f类训练样本构成字典(∑,z =n)。设 ∈ 是通过稀疏编码算法求出的待识别人脸Y在字典D 上的稀疏系数,在理想情况下,向量 中除了样本Y 所属类别的原子对应的系数值非零外,其余的系数 值应该都为0。子空间追踪算法引入了回溯迭代 优化思想,在迭代过程中通过不断优化更新候选支 撑向量集来选择原子,因此求解出的稀疏系数能够 较好地重构人脸,提高识别率。sP算法的基本思 想是跨越子空间选择可靠性最高的k个原子,计算 待识别的k稀疏信号到所选原子张成空间的距离, 若该距离较大,则算法根据其可靠值移除和添加新 的原子,直到得到一个充分接近的候选原子集。SP 算法的具体实现步骤如下(初始残差,=Y): (1)选取l D r l中最大的k个元素对应的原子, 即从过完备字典D中选取与初始残差r最相关的 k个原子,存放到候选支撑向量集中。 (2)求出稀疏表示系数 =(D,) Y,D,表示支 撑向量集中的所有原子,,表示支撑向量集中原子 索引。 (3)选择稀疏表示系数 中最大的k个系数所 对应的原子,更新支撑向量集,D,,表示更新后支撑向 量集中的所有原子。 (4)根据步骤(3)中选择的原子,重新计算残差 ,. = —D,, 其中, ̄1g,,表示步骤(3)中选择的原子 对应的稀疏编码系数。 (5)当残差能量大于初始残差能量时结束循环, 否则把步骤(4)中得到的残差置为初始残差。 利用SP算法求出稀疏系数后,再分别计算出每 类稀疏系数的重构误差,重构误差最小的那类即为Y 所属的类别: identity(Y)=arg minf l lY—DAf( )ll 2 (4) 其中,A ( )=[0,…,0,Ot¨,…,Ot ,0,…,0] 表示 除了第f类人脸对应的稀疏系数不置为0外,其他的 系数都为0。 3人脸识别算法 ELM.SP算法通过对ELM实际输出向量的分 析,设置阈值,判断该样本是否是含噪声的人脸图 像,干净图像直接根据ELM的实际输出向量来分 类,噪声图像使用SP算法结合SRC框架来分类。 将ELM—SP应用于人脸识别中不仅识别速度快,而 且识别率高,融合了ELM与SP各自的优点。 在ELM分类器中,只用±1表示期望输出向量 t,假设样本 属于第k类,那么向量t除了第k个值 为1,其他值都是一1,如式(5)所示。 工程 2016年1月15日 t=(一1,一1,…,一1, 1 ,一1,…,一1) (5) k—th entry 其中,f,表示向量t中的最大值;t 表示t中的第二大 值,那么f,一t =2。在理想情况下,对于一个已经训 练好的ELM分类器,样本 的实际输出向量O与期 望输出向量t应该是近似相等的,即O,一O 2,其 中,D,表示向量O中的最大值;O 表示向量O中的 第2大值。在实际情况中,由于存在误差,D,与O 的 差值通常小于2。假设O,一O = ,(O/≥0),且向量O 中除了最大的2个数值外,其他都为一1,即: 0=(一1,…,一1,Of,一1,…,一1,0 ,一1,…,一1) (6) 其中,Of≥一1,0 ≥一1。在这种假设下,可以得到如 下3种结果:(1)向量t中数值1所在位置与0中0 所在位置相同,即t=(一1,…,一1,1,一1,…,一1, 一1,一1,…,一1) ,样本 分类正确,此时【 l0一t 2 .≥2(1一 );(2)向量f中数值1所在位置与。中 0 s所在位置相同,样本X分类出错,I1 0一t 2 .≥2(1+ );(3)向量t中数值1既不在Of所在位 二 置,也不在o 所在位置,样本 分类出错,fl 0一t 1>4+Ol 。从这3种结果可以看出,当实际输出向量 0和期望输出向量t的误差平方比较大时,样本 可 能会分类出错。因此,可以设置阈值6,如果样本的 ELM实际输出向量O满足口,一O ≤ ,则认为样本是 噪声图像,该样本使用ELM算法分类可能会得到错 误的结果;满足O,一O >8的样本则认为是干净图 像,可以使用ELM算法来分类。 为了选择合适的阈值,采用扩展的Yale B人脸 数据库中的一个子集进行实验,它包含38个人在 64种不同的光照条件下的人脸图像,共2 432幅图 片,每张图片大小为192×168像素。图1为不同差 值条件下,所有训练样本数目和分类出错样本数目 的分布(ELM隐藏层单元数为100)。 瓜 苷 棼 图1所有训练样本数目和分类出错样本数目的分布 第42卷第1期 张建明,刘阳春,吴宏林:基于极限学习机与子空间追踪的人脸识别算法 173 脸的训练样本分别从5~8变化,剩下的作为测试样 本,每类的训练样本数目即为SP算法中的稀疏度 值。为了使SP中字典保持过完备性,将样本下采样 至14×12,形成168维的特征向量。所有实验都重 复了10次,实验数据是这10次实验结果的平均值, 其识别率如表5所示,识别时间如表6所示。 表5在ORL数据库上的识别率 % 从表5、表6可以看出,当每类训练样本数目为 5时(共200张训练样本),由于训练样本集比较小, ELM的识别率是很低的。对于ELM,SP,ELM— BPDN,ELM—SP这4种算法,随着训练样本数目的 增多,识别率也相应地提高。ELM算法学习速度 快,识别时间是最少的,但它对噪声不具有鲁棒性, 故识别率远低于ELM—SP算法。由于BPDN计算非 常复杂,使得ELM—BPDN算法的识别时间多于其他 3种算法。ELM—SP算法的识别率几乎与SP算法是 相等的,对表情和角度变化具有鲁棒性,但它的识别 时间比sP所花费的识别时间少。综合来看,基于 ELM-SP的人脸识别方法的性能最优。 5 结束语 子空间追踪算法将回溯迭代优化思想和多原子 选择方案引入原子选择过程中,提高了人脸识别率, 但计算较复杂。本文提出基于极限学习机与子空间 追踪的分类算法,通过设定阈值来判断是否为噪声 图像,将ELM与SRC两种分类算法进行结合,在获 得高识别率的同时降低时间开销。寻找一种高效的 结合方法,将改进的ELM与SRC算法结合起来提 高识别率,是下一步的研究工作。 参考文献 [1]Zhao Wenyi,Chellappa R,Phillips P J,et a1.Face Recognition:A Literature Survey[J].ACM Computing Surveys,2003,35(4):399458. [2] 李立.基于稀疏表示的人脸图像识别方法研究[D]. 南京:南京理工大学,2012. [3] Wright J,Yang A Y,Ganesh A,et a1.Robust Face Recognition via Sparse Representation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2009,31(2):210—227. [4] Yang A Y,Sastry S S,Ganesh A,et a1.Fast L1一 minimization Algorithms and an Application in Robust Face Recognition:A Review[C]//Proceedings of International Conference on Image Processing. Hong Kong,China:IEEE Signal Processing Society, 2010:1849—1852. [5] Wagner A,Wright J,Ganesh A,et a1.Toward a Practical Face Recognition System:Robust Alignment and Illumination by Sparse Representation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(2):372—386. [6] Yang A Y,Zhou Z,Balasubramanian A G,et a1.Fast L1一Minimization Algorithms for Robust Face Recognition [J]. IEEE Transactions on Image Processing,2013,22(8):3234—3246. [7] Tropp J A,Gilbert A C.Signa1Recovery from Random Measurements via Orthogonal Matching Pursuit[J]. IEEE Transactions on Information Theory,2007, 53(12):46554666. [8] Dai Wei,Milenkovic O.Subspace Pursuit for Com— pressive Sensing Signal Reconstruction[J].IEEE Transactions on Information Theory,2009,55(5): 2230—2249. [9] 杨成,冯巍.一种压缩采样中的稀疏度自适应子 空间追踪算法[J].电子学报,2010,38(8):1914—1917. [1O] Suykens J A K.Vandewalle J.LeastSquares Support Vector Machine Classifiers[J].Neural Processing Letters,1999,9(3):293—300. [11] Huang Guangbin,Zhu Qinyu,Siew c K.Extreme Learning Machine:Theory and Applications[J]. Neurocomputing,2006,70(1):489—501. [12] 曾定衡,钟汇才.面向无线视频浏览的增量学习人脸 检测算法研究[J].小型微型计算机系统,2014, 35(6):1353—1357. [13] Zong Weiwei,Huang Guangbin.Face Recognition Based on Exgeme Learning Machine[J].Neurocomputing, 20l1,74(16):2541—2551. [14] Luo Minxia,Zhang Kai.A Hybrid Approach Combining Extreme Learning Machine and Sparse Representati0n for Image Classiifcation[J].Engineering Applications of Artiifcial Intelligence,2014,27(2):228—235. [15] Huang Guangbin,Zhou Hongming,Ding Xiaojian,et a1. Extreme Learning Machine for Regression and Multiclass Classification l J 1.IEEE Transactions on SystemS,Man。 and Cybernetics,Part B:Cybernetics,2012,42(2): 513·529. ,编辑索书志