． ３６ ＪｏＵＲＮＡＬ ｏＦ ＪＩＡＮＧＳＵ ＵＮＩＶＥＲＳＩＴＹ（Ｎａｔｕｒａｌ Ｓｃｉｅｎｃｅ Ｅｄｉｔｉｏｎ、 ＿ ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１６７１—７７７５．２０１５．０２．０１３ 深度学习的研究与发展 张建明，詹智财，成科扬，詹永照 （江苏大学计算机科学与通信工程学院，江苏镇江２１２０１３） 摘要：针对以往浅层学习对特征表达能力不足和特征维度过多导致的维数灾难等现象，深度学习 通过所特有的层次结构和其能够从低等级特征中提取高等级特征很好地解决了这些问题，并给人 工智能带来了新的希望．首先介绍了深度学习的发展历程，并介绍了基于ｒｅｓｔｉｒｃｔｅｄ ｂｏｌｔｚｍａｎｎ ｍａ— ｃｈｉｎｅｓ（ＲＢＭ）、ａｕｔｏ ｅｎｃｏｄｅｒ（ＡＥ）和ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ（ＣＮＮ）的ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋｓ （ＤＢＮ）、ｄｅｅｐ ｂｏｌｍｍａｎｎ ｍａｃｈｉｎｅ（ＤＢＭ）和ｓｔａｃｋｅｄ ａｕｔｏ ｅｎｃｏｄｅｒｓ（ＳＡＥ）等深度模型．其次，对近几年 深度学习在语音识别、计算机视觉、自然语言处理以及信息检索等方面的应用的介绍，说明了深度 学习结构在相比较于其他结构的优越性和在不同任务上更好的适应性．最后通过对现有的深度学 习在在线学习能力、大数据上和深度结构模型的改进上的思考和总结，展望了今后深度学习的发展 方向． 关键词：浅层学习；深度学习；层次结构；人工智能；机器学习 中图分类号：ＴＰ３０１ 文献标志码：Ａ 文章编号：１６７１—７７７５（２０１５）０２—０１９１—１０ 引文格式：张建明，詹智财，成科扬。等．深度学习的研究与发展『Ｊ］．江苏大学学报：自然科学版。２０１５，３６（２）：１９１—２００． Ｒｅｖｉｅｗ ｏｎ ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ ｄｅｅｐ ｌｅａｒｎｉｎｇ Ｚｈａｎｇ Ｊｉａｎｍｉｎｇ，Ｚｈａｎ Ｚｈｉｃａｉ，Ｃｈｅｎｇ Ｋｅｙａｎｇ，Ｚｈａｎ Ｙｏｎｇｚｈａｏ （Ｓｃｈｏｏｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｊｉａｎｇｓｕ Ｕｎｉｖｅｒｓｉｔｙ，Ｚｈｅｎｊｉａｎｇ，Ｊｉａｎｇｓｕ ２１２０１３，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｏ ｓｏｌｖｅ ｔｈｅ ｉｎｓｕｆｉｃｉｆｅｎｃｙ ｏｆ ｓｈａｌｌｏｗ ｌｅａｒｎｉｎｇ ｅｘｐｒｅｓｓｉｏｎ ａｂｉｌｉｔｙ ａｎｄ ｔｈｅ ｅｘｃｅｓｓｉｖｅ ｄｉｍｅｎｓｉｏｎ ｄｉｓａｓｔｅｒ ｄｕｅ ｔｏ ｔｈｅ ｆｅａｔｕｒｅ ｄｉｍｅｎｓｉｏｎ，ｄｅｅｐ ｌｅａｒｎｉｎｇ ｗａｓ ｕｓｅｄ ｄｕｅ ｔｏ ｔｈｅ ｕｎｉｑｕｅ ｈｉｅｒａｒｃｈｉｅｓ ａｎｄ ｃａｐａｂｉｌｉｔｙ ｏｆ ｅｘｔｒａｃｔｉｎｇ ｈｉｇｈ ｌｅｖｅｌ ｆｅａｔｕｒｅｓ ｆｒｏｍ ｌｏｗ－ｌｅｖｅｌ ｆｅａｔｕｒｅｓ，ａｎｄ ｂｒｏｕｇｈｔ ｎｅｗ ｈｏｐｅ ｆｏｒ ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ． Ｔｈｅ ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｄｕｒｉｎｇ ｄｉｆｆｅｒｅｎｔ ｐｅｒｉｏｄｓ ｗａｓ ｉｎｔｒｏｄｕｃｅｄ．Ｔｈｅ ｂａｓｉｃ ｍｏｄｅｌｓ ｏｆ ＲＢＭ，ＡＥ ａｎｄ ＣＮＮ ｗｅｒｅ ａｎａｌｙｚｅｄ ｔｏ ｐｒｅｓｅｎｔ ｔｈｅ ｄｅｅｐ ｈｉｅｒａｒｃｈｉｃａｌ ｓｔｒｕｃｔｕｒｅｓ ｏｆ ＤＢＮ，ＤＢＭ ａｎｄ ＳＡＥ．Ｔｈｅ ａｐｐｌｉｃａ— ｔｉｏｎｓ ｏｆ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｉｎ ｔｈｅ ｆｉｅｌｄｓ ｏｆ ｓｐｅｅｃｈ ｒｅｃｏｇｎｉｔｉｏｎ，ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ，ｎａｔｕｒａｌ ｌａｎｇｕａｇｅ ｐｒｏｃｅｓｓｉｎｇ ａｎｄ ｉｎｆｏｒｍａｔｉｏｎ ｒｅｔｒｉｅｖａｌ ｉｎ ｒｅｃｅｎｔ ｙｅａｒｓ ｗｅｒｅ ｉｎｔｒｏｄｕｃｅｄ ｔｏ ｉｌｌｕｓｔｒａｔｅ ｔｈｅ ｓｕｐｅｒｉｏｒｉｔｙ ａｎｄ ｆｌｅｘｉｂｉｌｉｔｙ ｏｆ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｃｏｍｐａｒｅｄ ｗｉｔｈ ｏｔｈｅｒ ｓｈａｌｌｏｗ ｌｅａｒｎｉｎｇ ａｌｇｏｒｉｔｈｍｓ．Ｓｏｍｅ ｆｕｔｕｒｅ ｒｅｓｅａｒｃｈ ｄｉｒｅｃｔｉｏｎｓ ｗｅｒｅ ｐｒｅｄｉｃｔｅｄ ｂａｓｅｄ ｏｎ ｔｈｅ ａｎａｌｙｓｉｓ，ａｎｄ ｓｏｍｅ ｃｏｎｃｌｕｓｉｏｎｓ ｗｅｒｅ ｍａｄｅ ａｃｃｏｒｄｉｎｇ ｔｏ ｔｈｅ ｉｍｐｒｏｖｅｍｅｎｔ ｏｆ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｏｎ ａｌｇｏｒｉｔｈｍ ｇｅｎｅｒａｌｉｚａｔｉｏｎ，ａｄａｐｔａｔｉｏｎ ｏｆ ｂｉｇ ｄａｔａ ａｎｄ ｍｏｄｉｆｙｉｎｇ ｏｎ ｄｅｅｐ ｓｔｒｕｃｔｕｒｅ． Ｋｅｙ ｗｏｒｄｓ：ｓｈａｌｌｏｗ ｌｅａｒｎｉｎｇ；ｄｅｅｐ ｌｅａｒｎｉｎｇ；ｈｉｅｒａｒｃｈｉｃａｌ ｓｔｒｕｃｔｕｒｅ；ａｒｔｉｉｃｉａｌｆ ｉｎｔｅｌｌｉｇｅｎｃｅ； ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ 收稿日期：２０１４—０５—０８ 基金项目：国家自然科学基金资助项目（６１１７０１２６） 作者简介：张建明（１９６４一），男，江苏丹阳人，教授（ｚｈｊｍ＠ｕｊｓ．ｅｄｕ．ＣＢ），主要从事图像处理与模式识别、虚拟现实的研究 詹智财（１９８９一），男，江西上饶人，硕士研究生（３４２８８８１０６＠ｑｑ．ｃｏｒｎ），主要从事模式识别、深度学习的研究． 从２００６年开始，深度学习作为机器学习领域中 对模式（音频、图像、文本等）进行建模的一种方法 已经成为机器学习研究的一个新领域．深度学习旨 在使机器学习能够更加地接近其最初的目标——人 工智能 ． 近年来，随着深度学习的出现，许多研究者致力 于深度学习原理和应用的研究，主要体现在各大会 议、高校研究组和企业应用上的热潮．会议包括： ２０１３年声学，语音和信号处理国际会议（ｉｎｔｅｒｎａｔｉｏ— ｎａｌ ｃｏｎ￣ｒｅｎｃｅ ｏｎ ａｃｏｕｓｔｉｃｓ，ｓｐｅｅｃｈ，ａｎｄ ｓｉｇｎａｌ ｐｒｏ・ ｃｅｓｓｉｎｇ，ＩＣＡＳＳＰ）讨论关于语音识别和相关应用的 深度神经网络学习的新类型；２０１０，２０１１和２０１２年 神经信息处理系统（ｎｅｕｒａｌ ｉｎｆｏｒｍａｔｉｏｎ ｐｒｏｃｅｓｓｉｎｇ ｓｙｓ－ ｔｅｍｓ，ＮＩＰＳ）讨论关于深度学习和无监督特征学习； ２０１ １，２０１３年机器学习国际会议（ｉｎｔｅｒｎａｔｉｏｎａｌ ｃｏｎ— ｆｅｒｅｎｃｅ ｏｎ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ，ＩＣＭＬ）讨论关于音频， 语音和视觉信息处理的学习结构，表示和最优 化 ．高校团队有：多伦多大学的Ｇｅｏｆｆｒｅｙ Ｈｉｎｔｏｎ研 究组；斯坦福大学的Ａｎｄｒｅｗ Ｎｇ研究组；加拿大蒙特 利尔大学的Ｙｏｓｈｕａ Ｂｅｎｇｉｏ研究组；纽约大学的 Ｙａｎｎ ＬｅＣｕｎ研究组等 ．企业团队有：百度公司的 Ａｎｄｒｅｗ Ｎｇ与余凯团队；微软公司的邓力团队； Ｇｏｏｇｌｅ公司的Ｇｅｏｆｆｒｅｙ Ｈｉｎｔｏｎ团队和阿里巴巴，科 大讯飞以及中科院自动化所等公司或研究单位． 在深度学习中，深度指代在学到的函数中非线 性操作组成的层次的数目．早在１９６９年Ｍｉｎｓｋｙ和 Ｐａｐｅｒｔ在所著的《感知机》中就指出：单层感知机 （浅层结构）不能实现“异或”（ＸＯＲ）功能，即不能 解决线性不可分问题．而多层感知机，即深度结构是 可以求解线性不可分的问题的，深度结构将低等级 特征组合或者变换得到更高等级形式的特征，并从 中学习具有层次结构的特征，这种特有的结构允许 系统在多层次的抽象中自动的学习并能够拟合复杂 的函数．因为无监督自动学习数据中隐藏的高等级 特征的能力会随着数据的规模的扩大和机器学习方 法的应用范围增大而变得越来越重要，深度学习也 会被越来越多的研究者重视．文中意在通过对深度 学习的基本模型的介绍以及在几大领域上的应用， 使读者能够对深度学习有大致的了解 Ｊ． １深度学习的发展历程 机器学习的发展历程可以大致分为２个阶段： 浅层学习和深度学习．直到近些年，大多数机器学习 的方法都是利用浅层结构来处理数据，这些结构模 型最多只有１层或者２层非线性特征转换层．典型 的浅层结构有：高斯７昆合模型（ＧＭＭｓ）［５ ３、支持向量 机（ＳＶＭ） Ｊ、逻辑回归等等．在这些浅层模型中，最 为成功的就是ＳＶＭ模型，ＳＶＭ使用一个浅层线性 模式分离模型，当不同类别的数据向量在低维空间 中无法划分时，ＳＶＭ会将它们通过核函数映射到高 维空间中并寻找分类最优超平面．到目前为止，浅层 结构已经被证实能够高效地解决一些在简单情况下 或者给予多重限制条件下的问题，但是当处理更多 复杂的真实世界的问题时，比如涉及到自然信号的 人类语音、自然声音、自然语言和自然图像以及视觉 场景时他们的模型效果和表达能力就会受到限制， 无法满足要求 ． 早在１９７４年Ｐａｕｌ Ｗｅｒｂｏｓ提出了反向传播 （ｂａｃｋ ｐｒｏｐａｇａｔｉｏｎ，ＢＰ）算法 ，解决了由简单的神 经网络模型推广到复杂的神经网络模型中线性不可 分的问题，但反向传播算法在神经网络的层数增加 的时候参数优化的效果无法传递到前层，容易使得 模型最后陷入局部最优解，也比较容易过拟合．在很 长一段时间里，研究者们不知道在有着多层全连接 的神经网络上怎样高效学习特征的深度层次结构． ２００６年，Ｈｉｎｔｏｎ提出了深度置信网络（ｄｅｅｐ ｂｅ— ｌｉｅｆ ｎｅｔｗｏｒｋ，ＤＢＮ） ，这个网络可以看作是由多个 受限玻尔兹曼机（ｒｅｓｔｒｉｃｔｅｄ ｂｏｈｚｍａｎｎ ｍａｃｈｉｎｅｓ， ＲＢＭ） 叠加而成．从结构上来说，深度置信网络与 传统的多层感知机区别不大，但是在有监督学习训 练前需要先无监督学习训练，然后将学到的参数作 为有监督学习的初始值．正是这种学习方法的变革 使得现在的深度结构能够解决以往的ＢＰ不能解决 的问题． 随后深度结构的其他算法模型被不断地提出， 并在很多数据集上刷新了之前的一些最好的记录， 例如２０１３年Ｗａｎ Ｌｉ等¨叫提出的ｄｒｏｐ ｃｏｎｎｅｃｔ规范 网络，其模型在数据集ＣＩＦＡＲ一１０上的错误率为 ９．３２％，低于此前最好的结果９．５５％，并在ＳＶＨＮ 上获得了１．９４％的错误率，低于此前最好的结果 ２．８％等等． ２ 深度学习的基础模型及其改进 深度学习出现的时间还不算长，所以大部分模 型都是以最基础的几种核心模型为基元，例如 ＲＢＭ，ＡＥ（ａｔｕｏ ｅｎｃｏｄｅｒｓ）… ，卷积神经网络（ＣＯＤＶＯ． ｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ，ＣＮＮ） ｌＺ］等进行改进而得 到的．文中首先介绍这几种基础的模型，然后介绍这 几种基础模型上的深度结构模型或者其改进模型． ２．１受限玻尔兹曼机 ＲＢＭ有着一个丰富的原理架构，是由１９８５年 Ｄ．Ｈ．Ａｃｋｌｅｙ等 提出的统计力学的随机神经网络 实例玻尔兹曼机（ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅｓ，ＢＭ）发展而 来的．ＢＭ具有强大的无监督学习能力，能够学习数 据中复杂的规则．但是，它无法确切计算ＢＭ所表示 的分布．为了解决这个问题，Ｓｍｏｌｅｎｓｋｙ引入了受限 玻尔兹曼机，他将ＢＭ原来的层间连接进行限定，使 得同一层中不同的节点互相独立，只有层与层之间 的节点才有连接，这样就可以较为容易地求得它的 概率分布函数¨ 一 ．本节介绍ＲＢＭ的原理及基于 ＲＢＭ的２个深度结构：ＤＢＮ和深度玻尔兹曼机 （ｄｅｅｐ ｂｏｈｚｍａｎｎ ｍａｃｈｉｎｅ，ＤＢＭ） ． ２．１．１ 受限玻尔兹曼机原理 ＲＢＭ是有着２层结构的马尔可夫随机场的特 殊情况 （见图１），它包含了由ｍ个可视的单元 Ｖ＝（ 。，Ｖ ，…，Ｖ ）构成的可视层，一般是服从伯努 利或者高斯分布；ｎ个隐藏的单元日＝（ｈ ，ｈ ，…， ｈ ）构成的隐藏层，一般是服从伯努利分布．图１中 上层表示ｎ个隐藏单元构成的隐藏（输出）层，下层 表示ｍ个可视单元构成的可视（输入）层． 图１受限玻尔兹曼机 如图１所示，ＲＢＭ的可视单元层和隐藏单元层 间有权值连接，但层内单元之间无连接． 统计力学中能量函数 Ｉ９川可估算一个系统的 能量，当系统按其内动力规则进行演变时，其能量函 数总是朝减少的方向变化，或停留在某一固定值，最 终趋于稳定．所以可以借由能量函数来对ＲＢＭ进行 状态的估计．一个ＲＢＭ中，在当给定模型的参数０ （即为权重Ｗ，可视层偏置ｂ，隐藏层偏置Ｃ）的情况 下，它关于可是单元 和隐藏单元ｈ的联合分布 Ｐ（ ，ｈ；０）可以由能量函数Ｅ（ ，ｈ；０）给出，即为 ｐ（ ， ； ）＝旦 巳 —二 ，（１） 式中Ｚ＝∑∑ｅｘｐ（一Ｅ（ ， ； ））为一个归一化因 子．这个模型的可视单元Ｖ边缘概率是Ｐ（Ｖ；０）＝ ∑ｅｘｐ（一Ｅ（ｖ， ； ）） Ｚ 对于一个伯努利一伯努利ＲＢＭ模型来说，其能 量函数为 Ｅ（ｖ， ； ）＝一∑∑ 一∑ｂｊｖｊ一∑ｃｉｈ ， ＝１ ＝１ ，＝１ Ｉ＝１ （２） 式中：ｉ∈｛１，２，…，ｎ｝； ∈｛１，２，…，ｍ｝；ｗｉｊ为一个介 于单元 和单元ｈ 之间的边的实数权重；ｂｊ和ｃ 为 第 个可视变量和第ｉ个隐藏变量各自的实数偏置 项．模型的条件概率为 ｐ（ｈ ：１ ｌ ； ） Ｏｒ（∑ｗ￣ｉｖｊ＋ｂｉ）， （３） Ｊ＝１ ｐ（ ＝１ ｌ ； ）＝ （∑ｗｑｈ ＋ｃ ）， （４） 式中 （ ） ，为ｓｉｇｍ。ｉｄ函数’ 同样地，对于高斯一伯努利ＲＢＭ来说，其能量 函数为 ． Ｅ（ｖ， ； ）＝一∑∑ｗｑｈ — Ｌ。１ Ｊ １ ÷∑（ 一ｂｊ） 一∑ｃｉｈ ． （５） 一Ｊ＝１ Ｉ １ 与它相对应的条件概率为 ｐ（ｈ ：１ Ｉ ； ）＝ （∑ ＋ｂ ）， （６） ，＝１ ｐ（ｖｊ Ｊ ； ）＝Ｎ（∑ｗｑｈ ＋ ，１）， （７） 式中ｖ１为连续值，是服从均值为∑ｗｏｈ。＋ｃｊ，方差 为１的高斯分布．高斯一伯努利ＲＢＭ能够将连续值 的随机变量转换成二值的随机变量，然后能够通过 伯努利一伯努利ＲＢＭ进行处理．在训练ＲＢＭ时，采 用ｋ步对比散度（ｃｏｎｔｒａｓｔｉｖｅ ｄｉｖｅｒｇｅｎｃｅ，ＣＤ） 算 法．具体的ｋ－ＣＤ算法如下． 输入：ＲＢＭ（ ｌ， ２，…，Ｖ ，ｈｌ，ｈ２，…，ｈ ）的训练 集Ｓ． 输出：Ａｗ ，△６，，Ａｃ 的近似梯度结果，ｉ＝１， ２，…， ， ＝１，２，…，ｍ． 的自然信息数据（自然世界中存在的信息）中构建高 等级表征，通过使用人为定义的有标签数据对模型进 行微调，从而进一步达到期望的分类结果．再之，除了 都是自下而上的生成结构且都能够进行自顶向下的 反馈外，ＤＢＭ允许更鲁棒性地处理模糊的输入数据 且更好地进行传播，减少传播造成的误差 Ｊ． ２．２自动编码器 Ｙ．Ｂｅｎｇｉｏ等 在２００７年通过理解ＤＢＮ的训 练策略的成功之处，即通过无监督预训练来更好地 初始化所有层的权值从而减缓深度网络的优化困难 的问题，并通过将ＤＢＮ结构中的ＲＢＭ建筑块替换 成ＡＥ来验证这个想法．本节先介绍ＡＥ的基本原 理，然后再介绍基于ＡＥ的堆叠自动编码器（ｓｔａｃｋｅｄ ａｕｔｏ ｅｎｃｏｄｅｒｓ，ＳＡＥ） ． ２．２．１ 自动编码器的原理 ＡＥ通过将可视层的输入变换到隐藏的输出 层，然后通过隐藏层进行重构使得自动编码器的目 标输出与原始输入自身几乎相等，如图３ａ所示．ＡＥ 的目标函数为 １ ｎ Ｊ（０，０ ）＝一１∑Ｌ（ｘ“’，ｚ“’）＋ ｎ １ ． （１ ｌ０ ＋ｌ】０ ）， （１１） 二 式中：第１项为最小化模型的重构误差；第２项为权 重衰减项．首先，假设一个自动编码器的输人为ｄ维 的向量 ∈［０，１］ ，通过一个函数映射，映射到输出 层为ｄ 维的表征向量Ｙ∈［０，１ ，映射函数为Ｙ＝ （ ）＝ｓ（Ｗｘ＋ｂ），模型的构造参数为０＝｛Ｗ，ｂ｝， 且ｗ是一个ｄ ×ｄ的权重矩阵， 是偏置向量，ｓ是 逐元素计算的逻辑ｓｉｇｍｏｉｄ函数，Ｓ（ｔ）＝ １ 『＿二 ，ｔ∈｛１，ｍ｝， 为所需传播的后一层的 １十ｅ Ｐ 一 单元个数．得到的输出表征Ｙ随后映射到“重构”向 量ｚ∈［０，１］ ，ｚ＝ｇ （Ｙ）＝ｓ（Ｗ ＋ｂ ），模型的重构 参数０ ＝｛Ｗ ，ｂ ｝，ｗ 是一个ｄ Ｘ ｄ 的权重矩降图 ３ｂ是一个自动编码过程的简略表示． 输入单元 输出单元 、 ．．．．．．．．．．．．．．．．．．．． Ｉ Ｊ ｌ一 一，（ａ）自动编码器基本结构（ｂ）自动编码器基本原理 图３ 自动编码器的基本结构及其基本原理 最优化这个模型的参数｛０，０ ｝即为最小化模型 的平均重构误差： ＇－ＥＬ（ ‘”，ｚ‘ｉ ）＝ ∑（ ‘ ，ｇｑ＇（ （ ‘ ）））， …一 Ｆ／，ｉ＝１ （１２） 式中：１７，为样本数据的大小； 为原始输入向量；ｚ为 重构向量．依据输入输出的不同，损失函数Ｌ可以是 连续值的传统的方差损失函数Ｌ（ｘ，ｚ）＝÷ｌ Ｉ一ｚ ｌＩ 或者是二值的交叉熵损失函数Ｃ（ｘ，ｚ）＝ ｄ 一∑［ｘｊｌｏｇ（ｚｊ）＋（１一ｘｊ）ｌｏｇ（１一 ）］ ． 另外，为了防止过拟合，通过将权重衰减项作为 正则化项加入到目标函数中，即为公式（１１）的第２ 项．权重衰减参数入表明这个重构误差和权重衰减 项的相关重要性． ２．２．２基于自动编码器的深度结构 ＡＥ结构简单，而且其数学表示通俗易懂，加之 能够很好地进行堆叠形成深层结构，本节将介绍基 于ＡＥ形成的ＳＡＥ结构． 文献［４，１１］中自动编码器的训练过程是和ＲＢＭ 一样使用贪心逐层预训练算法，但因为是通过重构误 差来进行训练，相比较而言比训练ＲＢＭ容易，所以常 常用来代替ＲＢＭ构建深度结构．通过将ＤＢＮ中的 ＲＢＭ替换成ＡＥ，形成ＳＡＥ．ＳＡＥ的特点就是它与 ＲＢＭ一样也是一个生成模型，但是数据样本在作为 ＳＡＥ的输入的同时还能够作为ＳＡＥ的输出目标，从 而检测ＳＡＥ中间层学到的特征是否符合要求，通过 逐个ＡＥ的训练，最终完成对整个网络进行训练 堆叠自动编码器（见图４）是由多层自动编码器 构成的深层神经网络，它被广泛地用于深度学习方 法中的维数约简 和特征学习 ． ………一 三 ） 第＾层自动编码器 ——～ ．‘…………一一 ／．—————————————＿、 ： 构造ｉ …一一：……一一（ ｉ ： ： ：： ： ：：： ． 第２层自动编码器 构造｝、、 ： 第１层自动编码器 图４堆叠自动编码器 正如图４中展现的，假设有ｈ个自动编码器，并 以从底向上的顺序逐层进行训练．具体的训练过程 如下 Ｊ：①训练第１个ＡＥ，最小化其原始输入（图 ４中黑色部分）的重构误差；②将上一个ＡＥ的输出 用作下一个ＡＥ的输人，按照步骤②中的方式进行 训练；③重复②步的过程，直到完成下面层的训练； ④将最后一层隐藏层的输出作为一个有监督层的 输入，初始化其参数（保持剩余层的参数固定，最顶 层的参数可以是随机或者有监督训练得到）；⑤按 照有监督的标准，可以对所有层进行微调，或者仅对 最高层进行微调． 最顶层ＡＥ的隐藏层就是这个ＳＡＥ的输出，这 个结果能够馈送到其他应用中去，例如在输出端使 用一个ＳＶＭ分类器．这个无监督预训练能够自动地 利用大规模的无标签数据在神经网络中获得比传统 随机初始化更好的权重初始化． 若干个自动编码器的堆叠就成为了深层结构， 如果在每个自动编码器的损失函数上加上一个稀疏 惩罚值，那么就成为了稀疏堆叠自动编码器 （ｓｔａｃｋｅｄ ｓｐａｒｓｅ ａｕｔｏ ｅｎｃｏｄｅｒｓ，ＳＳＡＥ） ： １ ｄ Ｊｓｐａｒｓｅ（ ，０ ）＝．，（ ，０ ）＋ １∑∑ ， 』 １ （１３） １ ｄ ｎ 式中： 为稀疏正则化常量； １∑∑ 为稀疏惩 』 ０ １ 罚项．在堆叠自动编码器的基础上，输入的时候将原 始数据加上噪声项，然后在输出层能够获得原始无 噪声的输出，那么就是堆叠消噪自动编码器 （ｓｔａｃｋｅｄ ｄｅｎｏｉｓｉｎｇ ａｕｔｏ ｅｎｃｏｄｅｒｓ，ＳＤＡＥ） ；如果在 堆叠自动编码器的基础上加上卷积结构，那么就是 堆叠卷积自动编码器（ｓｔａｃｋｅｄ ｃｏｎｖｏｌｕｔｉｏｎａｌ ａｕｔｏ ｅｎ． ｃｏｄｅｒｓ，ＳＣＡＥ） ． ２．３卷积神经网络 在１９８９年Ｙａｎ Ｌｅｃｕｎ等基于前人工作，提出了 一个可以将ＢＰ成功用于训练深度网络的结构： ＣＮＮ，它组合局部感受野、权重共享、和空间或时问 上的子采样这３种结构去确保平移和变形上的不变 性，一个典型的ＣＮＮ网络如图５所示． 卷积 子采样 卷积 予采样卷积 图５卷积神经网络基本结构 局部感受野：图５中第１个隐藏层有着６个特 征图，每个对应于输入层中的小方框就是一个局部 感受野，也可以称之为滑动窗口． 卷积：卷积层ｆ中第 个特征映射的激活值 为 Ｉ＝ ＋∑ｏｌ 后 ）． （１４） ｉ 权值共享：这里．厂是一个非线性函数，通常是 ｔａｎｈ函数或是ｓｉｇｍｏｉｄ函数，６ 是第ｚ层的第 个单 元的偏置值， 是ｆ一１层中特征映射ｉ的索引向 量，而在第ｚ层中特征映射 是需要累加的， 是一 个２维卷积操作且 是作用在第ｚ一１层中的特征 映射ｉ上的卷积核心，能够生成第ｆ层中特征映射 的累加的输入部分．一个卷积层通常由几个特征图 构成，而这里的ｋ： 即为权重，在同一个特征图中是 相同的，这样就减少了自由参数的数量． 子采样：如果平移这个卷积层的输入将会平移 其输出，但是却不会改变它，而且一旦一个特征被检 测到，其准确的位置就会不那么重要了，只要相对于 其他特征的近似位置被保存即可．因此，每个卷积层 后面会有一个额外的层去执行局部的均值化，即子 采样 去减少输出时关于平移和变形的灵敏度． 对于一个子采样层Ｚ中的特征映射． ，有 口ｆ．ｄｏｗｎ（ｏ 。。，Ｎ ）， （１５） 式中：ｄｏｗｎ为基于因子 进行下采样的函数； 为 第２层子采样层所需要的窗口边界大小，然后对大 小为Ｎ ×Ｎ 的窗口非重叠区域进行均值计算．假设 神经元的输出层为Ｃ维，那么就能对Ｃ类进行的鉴 别，输出层是前层的连接特征映射的输出表征： ｏｕｔｐｕｔ＝ ｂ。＋ｗ ）， （１６） 式中：ｂ。为偏置向量；Ｗｏ为权重矩阵； 为特征向 量，模型的参数是｛ ， ，ｂ。，Ｗｏ｝．卷积层和子采样 层通常是逐层交替，而特征图的数量是随着空间解 析度的减少而增加． 在ＣＮＮ的应用上一个很成功的实例是Ｙ．Ｌｅ— Ｃｕｎ等 于１９９５年提出的ＬｅＮｅｔ－５系统，在ＭＮＩＳＴ 上得到了０．９％的错误率，并在２０世纪９０年代就 已用于银行的手写支票识别． 近年来，关于ＣＮＮ的模型逐渐成为研究的热 点．２０１２年Ａ．Ｋｒｉｚｈｅｖｓｋｙ等 将ＣＮＮ构造成深度 卷积神经网络（ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ， ＤＣＮＮ），在ＩＬＳＶＲＣ一２０１２数据集上获得了ｔｏｐ．５测 试错误率为ｌ５．３％的好结果．２０１４年Ｚｈｅｎｇ Ｙｉ等提 出的多通道深度卷积神经网络（ｍｕｌｔｉ－ｃｈａｎｎｅｌｓ ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒ￣ｎｅｔｗｏｒｋｓ，ＭＣ—ＤＣＮＮ） 在ＢＩＤ． ＭＣ数据集上获得最好的准确度（９４．６７％），优于之 前这个数据集上的最好结果． （ｄｅｅｐ ｈｉｄｄｅｎ ｉｄｅｎｔｉｔｙ ｆｅａｔｕｒｅ，ＤｅｅｐＩＤ）的方法去学 习高等级特征表征来进行人脸识别．通过将人脸部 分区域作为每个卷积网络的输入，在底层中提取局 部低等级特征，并在深度卷积网络的最后一层隐藏 层的神经元激活值中形成ＤｅｅｐＩＤ特征，试验结果显 ３深度学习的应用 深度学习从２００６年开始在语音识别、计算机视 觉、自然语言处理和信息检索上面都取得了较好效 果，在不同的数据集以及工业应用上都表现出远超 以往浅层学习所能达到的最好的效果． ３．１语音识别 在过去几十年中，语音识别领域的研究者们都 把精力用在基于ＨＭＭ．ＧＭＭ的系统 ，而忽略了 原始语音数据内部原有的结构特征．深度神经网络 ＤＮＮ在２０１０年开始被引入处理语音识别问题，因 为ＤＮＮ对数据之间的相关性有较大的容忍度，使得 当ＧＭＭ被ＤＮＮ替换时，效果明显有了飞跃． ２０１２年，微软公司一个基于深度学习的语音视 频检索系统（Ｍｉｃｒｏｓｏｆｔ ａｕｄｉｏ ｖｉｄｅｏ ｉｎｄｅｘｉｎｇ ｓｅｒｖｉｃｅ， ＭＡＶＩＳ）成功问世，将单词错误率降低了３０％（从 ２７．４％到１８．５％） ．２０１４年ＩＢＭ的沃森研究中心 的Ｔ．Ｎ．Ｓａｉｎａｔｈ 的工作结果显示ＤＮＮ比以往过 去的ＧＭＭ—ＨＭＭ模型有８％～１５％的提升，而ＣＮＮ 相比于一般ＤＮＮ来说能对数据问强烈的相关性有 更强的适应力，同时足够深的网络还有对数据的平 移不变性的特性． ３．２计算机视觉 深度学习在计算机视觉上的成功应用，主要体现 在对象识别 和人脸识别领域 上．过去很长一段 时间，机器视觉中的对象识别一直依赖于人工设计的 特征，例如尺度不变特征转换（ｓｃａｌｅ ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ，ＳＩＦＦ） 和方向梯度直方图（ｈｉｓｔｏｇｒａｍ ｏｆ ｏｒｉｅｎｔｅｄ ｇｒａｄｉｅｎｔｓ，ＨＯＧ） ，然而像ＳＩＦＴ和ＨＯＧ这 样的特征只能抓取低等级的边界信息． 针对以往小规模样本所无法表现的真实环境中 更复杂的信息，２０１０年人们引入了更大的数据集， 例如ＩｍａｇｅＮｅｔ数据集中有着１５百万的标记高分辨 率图像和超过２万２千个类别．Ａ．Ｋｒｉｚｈｅｖｓｋｙ等 ３＿ 在２０１２年通过训练一个大的深度神经网络来对 ＩｍａｇｅＮｅｔ ＬＳＶＲＣ－２０１０中包含着１ ０００个不同类别的 １．２百万个高分辨率图像进行分类．在测试数据中， 他们在ｔｏｐ．１和ｔｏｐ－５上的错误率是３７．５％和１７． ０％，刷新了这个数据集的最好记录． ２０１４年Ｓｕｎ Ｙｉ等 提出了深度隐藏身份特征 示Ｙｉ等在ＬＦＷ上获得了９７．４５％的准确度． ３．３自然语言处理 自然语言处理（ｎａｔｕｒａｌ ｌａｎｇｕａｇｅ ｐｒｏｃｅｓｓｉｎｇ， ＮＬＰ）［４３ｊ意在将人类语言转换到能够容易地被计算 机操作的表征的过程．大多数的研究者将这些问题 分离式考虑，例如词性标注、分块、命名实体识别、语 义角色标注、语言模型和语义相关词等，而没有注重 到整体性，使得自然语言处理领域中的进展不是很 乐观．具体来说现有的系统有３个缺陷 Ｊ：①它们 都是浅层结构，而且分类器通常是线性的；②对于 一个效果好的线性分类器来说，它们必须事先用许 多人工特征来预处理；③从几个分离的任务中进行 串联特征以至于误差会在传播过程中增大． ２００８年Ｒ．Ｃｏｌｌｏｂｅｒｔ等 通过将一个普通的深 度神经网络结构用于ＮＬＰ，在“学习一个语言模式” 和“对语义角色标签”任务上通过将重点关注到语义 角色标签的问题上进行了没有人工设计特征参与的 训练，其错误率为１４．３％的结果刷新了最好记录． ３．４信息检索 信息检索（ｉｎｆｏｒｍａｔｉｏｎ ｒｅｔｒｉｅｖａｌ，ＩＲ）就是用户输 入一个查询到一个包含着许多文档的计算机系统， 并从中取得与用户要求所需最接近的文档 Ｊ．深度 学习在ｌＲ上的应用主要是通过提取有用的语义特 征来进行子序列文档排序，由Ｒ．Ｓａｌａｋｈｕｔｄｉｎｏｖ等 Ｊ 在２００９年提出，他们针对当时最广泛被使用在文档 检索上的系统ＴＦ—ＩＤＦｌ２ 上的分析，认为ＴＦ—ＩＤＦ 系统有着以下的缺陷：在词计数空间中直接计算文 档的相似性，这使得在大词汇量下会很慢；没有使用 词汇间的语义相似性．因为在ＤＮＮ模型的最后一层 中的隐藏变量不但在使用基于前向传播的训练后容 易推导，而且在基于词计数特征上给出了对每个文 档更好的表征，他们使用从深度自动编码器得到的 紧凑的编码，使得文档能够映射到一个内存地址中， 在这个内存地址中语义上相似的文档能够被归类到 相近的地址方便快速的文档检索．从词计数向量到 紧凑编码的映射使得检索变得高效，只需要更便捷 的计算，更少的时间． ２０１４年Ｓｈｅｎ Ｙｅｌｏｎｇ等 提出了卷积版的深度 结构语义模型（ｅｏｎｖｏｌｕｆｉｏｎａｌ ｄｅｅｐ．ｓｔｒｕｃｔｕｒｅｄ ｓｅｍａｎｔｉｃ ｍｏｄｅｌｉｎｇ，Ｃ—ＤＳＳＭ），Ｃ—ＤＳＳＭ能将上下文中语义相 似的单词通过一个卷积结构投影到上下文特征空间 向量上，从之前４３．１％的准确率提高到了４４．７％． 不同于以往浅层结构只能解决许多简单的或者 许多约束条件下的问题，深度结构能够处理许多复 杂的真实世界中的问题，例如人类语音、自然声音和 表征．因为深度学习尚在初步阶段，很多问题还没有 解决，所以还无法真正达到人工智能的标准，但是深 度学习现有的成功和发展表明，深度学习是向人工 智能迈进的一大步． ５ 总 结 语言、自然图像、可视场景等问题，它们可以直接从 数据中提取数据所包含的特征而不受具体模型的约 束，从而更具有泛化能力． ４深度学习的研究展望 随着研究的深入，深度学习已经成为机器学习 中一个不可或缺的领域，然而，关于深度学习的研究 现在仍然才处于萌芽状态，很多问题仍然没有找到 满意的答案 Ｊ．如对在线学习的能力的提升，以及 在大数据方面的适应能力以及在深度层次结构上的 改进． 在线学习方面：当前几乎所有的深度学习所应 用到的深度结构训练的算法都是先在搭建好的结构 上进行逐层训练，并在逐层训练之后加上一个全局 微调得到更好的拟合数据的参数集．这种训练算法 在纯粹的在线环境下不是很适用，因为在线数据的 数据集是在不断扩充的，一旦在在线环境下引入全 局微调的方法，那么结果极有可能陷入局部最小．如 何将深度学习用于在线环境是值得思考的一个问 题． 在对大数据的适应能力上：大数据中包含着很 多有价值的信息，但是如何从大数据中找到能够表 达这个数据的表征是研究者关心的问题．２０１２年的 Ｇｏｏｇｌｅ大脑团队在一个超大多节点的计算机网络上 并行地训练深度网络结构，结果显示数据仍然呈现 欠拟合的状态＿４ ．对此，如何衡量训练复杂度与任 务复杂度的关系，使得深度学习可以充分地用在大 数据上，还有待于研究和实践． 在深度结构的改进上：深度结构的层次模型虽 然比浅层模型在结构上具有突破，模拟了生物的视 觉系统分层结构，但是未能完全匹配皮层的信息处 理结构．比如研究者们发现现有的主流的深度结构 并未考虑到时间序列对学习的影响，而作为真正的 生物皮层在处理信息上来说，对信息数据的学习不 是独立静态的，而是随着时间有着上下文的联系的． 人类的信息处理机制表明深度结构可以从丰富 的感知信息中提取复杂的结构和建立数据中内在的 １）文中首先通过对现有的深度学习所使用的 深度结构的分类，介绍了ＲＢＭ，ＡＥ，ＣＮＮ等深度学 习所使用的几大基础模型具有的原理及特点，并相 对应地分析了如何在这几个模型的基础上来得到 ＤＢＮ、ＤＢＭ以及ＳＡＥ等真正的深度层次结构模型． ２）通过在语音识别、计算机视觉、自然语言处 理和信息检索几大领域上深度学习应用的介绍，说 明了深度学习在机器学习领域有相比较于其他浅层 结构学习具有更好的优越性和更少的错误率． ３）通过对深度学习在在线学习方面和大数据 上的适应能力以及对深度结构的改进等方面对当前 深度学习所面临的问题作了总结和思考．当前深度 学习还尚未成熟，仍有大量的工作需要研究，但是其 展现的强大的学习能力和泛化能力表明，今后它将 是机器学习领域中研究的重点和热点． 参考文献（Ｒｅｆｅｒｅｎｃｅｓ） ［１］孙志军，薛磊，许阳明，等．深度学习研究综述［Ｊ］． 计算机应用研究，２０１２，２９（８）：２８０６—２８１０． Ｓｕｎ ＺｈＯｕｎ，Ｘｕｅ Ｌｅｉ，Ｘｕ Ｙａｎｇｍｉｎｇ，ｅｔ ａ１．Ｏｖｅ￣ｉｅｗ ｏｆ ｄｅｅｐ ｌｅａｒｎｉｎｇ［Ｊ］．Ａｐｐｌｉｃａｔｉｏｎ Ｒｅｓｅａｒｃｈ ｏｆ Ｃｏｍｐｕｔｅｒｓ， ２０１２，２９（８）：２８０６—２８１０．（ｉｎ Ｃｈｉｎｅｓｅ） ［２］Ｄｅｎｇ Ｌｉ，Ｙｕ Ｄｏｎｇ．Ｄｅｅｐ ｌｅａｒｎｉｎｇ ｆｏｒ ｓｉｇｎａｌ ａｎｄ ｉｎｆｏｒ— ｍａｒｉｏｎ ｐｒｏｃｅｓｓｉｎｇ［Ｒ］．Ｍｉｃｒｏｓｏｆｔ Ｒｅｓｅａｒｃｈ，２０１３． ［３］ 胡晓林，朱军．深度学习——机器学习领域的新热 点［Ｊ］．中国计算机学会通讯，２０１３，９（７）：６４—６９． Ｈｕ Ｘｉａｏｌｉｎ，Ｚｈｕ Ｊｕｎ．Ｄｅｅｐ ｌｅａｒｎｉｎｇ－－ｎｅｗ ｈｏｔ ｓｐｏｔ ｉｎ ｔｈｅ ｆｉｅｌｄ ｏｆ ｍａｃｈｉｎｇ ｅａｒｎｉｎｇ［Ｊ］．Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｆｏ ｔｈｅ ＣＣＦ，２０１３，９（７）：６４—６９．（ｉｎ Ｃｈｉｎｅｓｅ） ［４］Ｂｅｎｇｉｏ Ｙｏｓｈｕａ．Ｌｅａｒｎｉｎｇ ｄｅｅｐ ｒａｃｈｉｔｅｃｔｕｒｅｓ ｆｏｒ ＡＩ［Ｊ］． Ｆｏｕｎｄａｔｉｏｎｓ ａｎｄ Ｔｒｅｎｄｓ ｉｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ，２００９，２ （１）：１—２７． ［５］Ｄｕａｒｔｅ—Ｃａｒｖａｊａｌｉｎｏ Ｊ Ｍ，Ｙｕ Ｇ Ｓ，Ｃａｒｉｎ Ｌ，ｅｔ ａ１．Ｔａｓｋ— ｄｒｉｖｅｎ ａｄａｐｔｉｖｅ ｓｔａｔｉｓｔｉｃａｌ ｃｏｍｐｒｅｓｓｉｖｅ ｓｅｎｓｉｎｇ ｏｆ ｇａｕｓｓｉ— ａｎ ｍｉｘｔｕｒｅ ｍｏｄｅｌｓ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ，２０１３，６１（３）：５８５—６００． ［６］Ａｂｄｅｌ－Ｒａｈｍａｎ Ｅ Ｍ，Ｍｕｔａｎｇａ ０，Ａｄａｍ Ｅ，ｅｔ ａ１．Ｄｅ— ｔｅｃｔｉｎｇ ｓｉｒｅｘ ｎｏｃｔｉｌｉｏ ｇｒｅｙ・－ａｔｔａｃｋｅｄ ａｎｄ ｌｉｇｈｔｎｉｎｇ—・ｓｔｒｕｃｋ ｐｉｎｅ ｔｒｅｅｓ ｕｓｉｎｇ ａｉｒｂｏｒｎｅ ｈｙｐｅｒｓｐｅｃｔｒａｌ ｄａｔａ，ｒａｎｄｏｍ ｆｏｒｅｓｔ ａｎｄ ｓｕｐｐｏ￣ｖｅｃｔｏｒ ｍａｃｈｉｎｅｓ ｃｌａｓｓｉｆｉｅｒｓ［Ｊ］． 一 ＰＲＳ Ｊｏｕｒｎａｌ ｏｆ Ｐｈｏｔｏｇｒａｍｍｅｔｒｙ ａｎｄ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ， ２０１４，８８：４８—５９． ［７］刘国海，肖夏宏，江辉，等．基于ＢＰ．Ａｄａｂｏｏｓｔ的 近红外光谱检测固态发酵过程ｐＨ值［Ｊ］．江苏大学 学报：自然科学版，２０１３，３４（５）：５７４—５７８． Ｌｉｕ Ｇｕｏｈａｉ，Ｘｉａｏ Ｘｉａｈｏｎｇ，Ｊｉａｎｇ Ｈｕｉ，ｅｔ ａ１．Ｄｅｔｅｃｔｉｏｎ ｏｆ ＰＨ ｖａｒｉａｂｌｅ ｉｎ ｓｏｌｉｄ－ｓｔａｔｅ ｆｅｒｍｅｎｔａｔｉｏｎ ｐｒｏｃｅｓｓ ｂｙ Ｆｒ— ＮＩＲ ｓｐｅｃｔｒｏｓｃｏｐｙ ａｎｄ ＢＰ—Ａｄａｂｏｏｓｔ［Ｊ］．Ｊｏｕｒｎａｌ ｏｆ Ｊｉａｎｇｓｕ Ｕｎｉｖｅｒｓｉｔｙ：Ｎａｔｕｒａｌ Ｓｃｉｅｎｃｅ Ｅｄｉｔｉｏｎ，２０１３，３４ （５）：５７４—５７８．（ｉｎ Ｃｈｉｎｅｓｅ） ［８］ Ｓａｒｉｋａｙａ Ｒ，Ｈｉｎｔｏｎ Ｇ Ｅ，Ｄｅｏｒａｓ Ａ．Ａｐｐｌｉｃａｔｉｏｎ ｏｆ ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋｓ ｆｏｒ ｎａｔｕｒａｌ ｌａｎｇｕａｇｅ ｕｎｄｅｒｓｔａｎｄｉｎｇ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ａｕｄｉｏ，Ｓｐｅｅｃｈ ａｎｄ Ｌａｎｇｕａｇｅ Ｐｒｏ— ｃｅｓｓｉｎｇ，２０１４，２２（４）：７７８—７８４． ［９］ Ｆｉｓｃｈｅｒ Ａ，Ｉｇｅｌ Ｃ．Ｔｒａｉｎｉｎｇ ｒｅｓｔｒｉｃｔｅｄ Ｂｏｌｔｚｍａｎｎ ｍａ— ｃｈｉｎｅｓ：ａｎ ｉｎｔｒｏｄｕｃｔｉｏｎ［Ｊ］．Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，２０１４， ４７（１）：２５—３９． ［１０］Ｗａｎ Ｌ，Ｚｅｉｌｅｒ Ｍ，Ｚｈａｎｇ Ｓ Ｘ，ｅｔ １ａ．Ｒｅｇｕｌａｒｉｚａｔｉｏｎ ｏｆ ｎｅｕｒｌａ ｎｅｔｗｏｒｋｓ ｕｓｉｎｇ ｄｒｏｐｃｏｎｎｅｃｔ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ３０ｔｈ Ｉｎｔｅｒｎａｔｏｉｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ． Ａｔｌａｎｔａ：ＩＭＬＳ，２０１３：２０９５—２１０３． ［１１］Ｂｅｎｇｉｏ Ｙ，Ｌａｍｂｌｉｎ Ｐ，Ｐｏｐｏｖｉｃｉ Ｄ，ｅｔ ａ１．Ｇｒｅｅｄｙ ｌａｙｅｒ— ｗｉｓｅ ｔｒａｉｎｉｎｇ ｏｆ ｄｅｅｐ ｎｅｔｗｏｒｋｓ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓ ｆｏ２０ｔｈ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ跏一 ｔｅｔｒ￣．Ｖａｎｃｏｕｖｅｒ：Ｎｅｕｒａｌ ｉｎｆｏｒｍａｔｉｏｎ ｐｒｏｃｅｓｓｉｎｇ ｓｙｓｔｅｍ ｆｏｕｎｄａｔｉｏｎ，２００７：１５３—１６０． ［１２］Ｐａｌｍ Ｒ Ｂ．Ｐｒｅｄｉｃｔｉｏｎ ａｓ ａ ｃａｎｄｉｄａｔｅ ｆｏｒ ｌｅａｒｎｉｎｇ ｄｅｅｐ ｈｉｅｒａｒｃｈｉｃａｌ ｍｏｄｅｌｓ ｏｆ ｄａｔａ［Ｄ］．Ｔｅｃｈｎｉｃａｌ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｄｅｎｍａｒｋ，Ｄｅｎｍａｒｋ，２０１２． ［１３］Ａｃｋｌｅｙ Ｄ Ｈ，Ｈｉｎｔｏｎ Ｇ Ｅ，Ｓｅｊｎｏｗｓｋｉ Ｔ Ｊ．Ａ ｌｅａｒｎｉｎｇ ｌａ— ｇｏｉｒｔｈｍ ｏｆｒ Ｂｏｈｚｍａｎｎ ｍａｃｈｉｎｅｓ［Ｊ］．Ｃｏｇｎｉｔｉｖｅ Ｓｃｉｅｃｎｅ， １９８５．９：１４７—１６９． ［１４］ Ｙｕ Ｄｏｎｇ，Ｄｅｎｇ Ｌｉ．Ｄｅｅｐ ｌｅａｒｎｉｎｇ ｎａｄ ｉｔｓ ａｐｐｌｉｃａｔｉｏｎｓ ｔｏ ｓｉｇｎａｌ ａｎｄ ｉｎｆｏｍｒａｔｉｏｎ ｐｒｏｃｅｓｓｉｎｇ［Ｊ］．ＩＥＥＥ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｍａｇａｚｉｎｅ，２０１１，２８（１）：１４５—１４９，１５４． ［１５］ Ｃｈｏ Ｋ Ｙ．Ｉｍｐｒｏｖｅｄ ｌｅａｒｎｉｎｇ ａｌｇｏｒｉｔｈｍｓ ｆｏｒ ｒｅｓｔｉｒｃｔｅｄ Ｂｏｈｚｍａｎｎ ｍａｃｈｉｎｅｓ［Ｄ］．Ｅｓｐｏｏ：Ｓｃｈｏｏｌ ｏｆ Ｓｃｉｅｎｃｅ， Ａａｌｔｏ Ｕｎｉｖｅｒｓｉｔｙ，２０１１． ［１６］Ｃｈｏ Ｋ Ｈ，Ｒａｉｋｏ Ｔ，Ｉｌｉｎ Ａ，ｅｔ ａ１．Ａ ｔｗｏ－ｓｔａｇｅ ｐｒｅｔｒａｉ ｎｉｎｇ ｌａｇｏｒｉｔｈｍ ｏｆｒ ｄｅｅｐ ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅｓ［Ｃ］∥Ｐｒ０ ｃｅｅｄｉｎｇｓ ｏｆ ２３ｒｄ Ｉｎｔｅｒｎａｔｏｉｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｒｔｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ．Ｓｏｆｉａ：Ｓｐｒｉｎｇｅｒ Ｖｅｒｌａｇ，２０１３：１０６一 ｌ１３． ［１７］Ｓｈｕ Ｈ，Ｎａｎ Ｂ，Ｋｏｅｐｐｅ Ｒ，ｅｔ ａ１．Ｍｕｌｔｉｐｌｅ ｔｅｓｔｉｎｇ ｆｏｒ ｎｅｕｒｏｉｍａｇｉｎｇ ｖｉａ ｈｉｄｄｅｎ ｍａｒｋｏｖ ｒａｎｄｏｍ ｆｉｅｌｄ［ＤＢ／ ０Ｌ］．［２０１４—０５—０８］．ｈｔｔｐ：∥ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／１４０４． １３７１．Ｄｄｆ． ［１８］Ｈｊｅｌｍ Ｒ Ｄ，Ｃａｌｈｏｕｎ Ｖ Ｄ，Ｓａｌａｋｈｕｔｄｉｎｏｖ Ｒ，ｅｔ ａ１．Ｒｅ． ｓｔｒｉｃｔｅｄ Ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅｓ ｆｏｒ ｎｅｕｒｏｉｍａｇｉｎｇ：ａｎ ａｐｐｌｉ－ ｃａｔｉｏｎ ｉｎ ｉｄｅｎｔｉ￣ｉｎｇ ｉｎｔｉｒｎｓｉｃ ｎｅｔｗｏｒｋｓ［Ｊ］．Ｎｅｕｒｏ— Ｉｍａｇｅ，２０１４，９６：２４５—２６０． ［１９］Ｈｉｎｔｏｎ Ｇ Ｅ，Ｏｓｉｎｄｅｒｏ Ｓ，Ｔｅｈ Ｙ Ｗ．Ａ ｆａｓｔ ｌｅａｒｎｉｎｇ ａｌ— ｇｏｒｉｔｈｍ ｆｏｒ ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｓ［Ｊ］．Ｎｅｕｒａｌ Ｃｏｍｐｕｔａｔｉｏｎ， ２００６，１８（７）：１５２７—１５５４． ［２０］Ｌｅｅ Ｈ，Ｇｒｏｓｓｅ Ｒ，Ｒａｎｇａｎａｔｈ Ｒ，ｅｔ ａ１．Ｕｎｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ ｏｆ ｈｉｅｒａｒｃｈｉｃａｌ ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｗｉｔｈ ｃｏｎｖｏｌｕｔｉｏ— ｈａｌ ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋｓ［Ｊ］．Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｏｆ ｔｅｈ ＡＣＭ，２０１１，５４（１０）：９５—１０３． ［２１］Ｈａｌｋｉａｓ Ｘ Ｃ，Ｐａｒｉｓ Ｓ，Ｇｌｏｔｉｎ Ｈ．Ｓｐａｒｓｅ ｐｅｎａｌｔｙ ｉｎ ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋｓ：ｕｓｉｎｇ ｔｈｅ ｍｉｘｅｄ ｎｏｒｍ ｃｏｎｓｔｒａｉｎｔ［ＤＢ／ ＯＬ］．［２０１４一Ｏ５一Ｏ８］．ｈｔｔｐ：∥ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／１３０１． ３５３３．ｐｄｆ． ［２２］Ｐｏｏｎ—Ｆｅｎｇ Ｋ，Ｈｕａｎｇ Ｄ Ｙ，Ｄｏｎｇ Ｍ Ｈ，ｅｔ ａ１．Ａｃｏｕｓｔｉｃ ｅｍｏｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｂａｓｅｄ ｏｎ ｆｕｓｉｏｎ ｏｆ ｍｕｌｔｉｐｌｅ ｆｅａｔｕｒｅ— ｄｅｐｅｎｄｅｎｔ ｄｅｅｐ Ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅｓ［ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓ ｆｏ ｔｅｈ ９ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｃｈｉｎｅｓｅ Ｓｐｏｋｅｎ ａＬｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ．Ｓｉｎｇａｐｏｒｅ：ＩＥＥＥ，２０１４：５８４— ５８８． ［２３］Ｗａｎｇ Ｗ，Ｏｏｉ Ｂ Ｃ，Ｙａｎｇ Ｘ Ｙ，ｅｔ ａ１．Ｅｆｆｅｃｔｉｖｅ ｍｕｌｔｉ— ｍｏｄａｌ ｒｅｔｉｒｅｖａｌ ｂａｓｅｄ ｏｎ ｓｔａｃｋｅｄ ａｕｔｏ．ｅｎｃｏｄｅｒｓ『Ｊ］． Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＶＬＤＢ Ｅｎｄｏｗｍｅｎｔ，２０１４，７（８）： ６４９—６６０． ［２４］Ａｒｎｏｌｄ Ｌ，Ｒｅｂｅｃｃｈｉ Ｓ，Ｃｈｅｖａｌｌｉｅｒ Ｓ，ｅｔ ａ１．Ａｎ ｉｎｔｒｏ— ｄｕｃｔｉｏｎ ｔｏ ｄｅｅｐ ｌｅａｒｎｉｎｇ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １８ｔｈ Ｅｕｒｏｐｅａｎ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ａｒｔｆｉｗｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ， Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ ａｎｄ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ． ［ｓ．１．］：ｉ６ｄｏｃ．ｃｏｎ ｐｕｂｌｉｃａｔｉｏｎ，２０１０：４７７—４７８． ［２５］Ｓａｌａｋｈｕｔｄｉｎｏｖ Ｒ，Ｈｉｎｔｏｎ Ｇ．Ｓｅｍａｎｔｉｃ ｈａｓｈｉｎｇ［Ｊ］． 一 ｔｅｎｒａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆＡｐｐｒｏｘｉａｍｔｅ Ｒｅａｓｏｎｉｎｇ，２００９，５０ （７）：９６９—９７８． ［２６］ Ｇｏｒｏｓｈｉｎ Ｒ，ＬｅＣｕｎ Ｙ．Ｓａｔｕｒａｔｉｎｇ ａｕｔｏ—ｅｎｃｏｄｅｒｓ［ＤＢ／ ０Ｌ］．［２０１４—０５—０８］．ｈｔｔｐ：∥ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／１３０１． ３５７７．ｐｄｆ． ［２７］ Ｊｉａｎｇ Ｘｉａｏｊｕａｎ，Ｚｈａｎｇ Ｙｉｎｇｈｕａ，Ｚｈａｎｇ Ｗｅｎｓｈｅｎｇ，ｅｔ ａ１．Ａ ｎｏｖｅｌ ｓｐａｒｓｅ ａｕｔｏ－ｅｎｃｏｄｅｒ ｆｏｒ ｄｅｅｐ ｕｎｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇ ｏｆ ２０１３ Ｓｉｘｔｈ Ｉｔｎｅｒａｎｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｄｖａｎｃｅｄ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｉｎｔｅｌｌｉｇｅｃｎｅ． Ｈａｎｇｚｈｏｕ：ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ。２０１３：２５６—２６１． ［２８］Ｖｉｎｃｅｎｔ Ｐ，Ｌａｒｏｃｈｅｌｌｅ Ｈ，Ｌａｊｏｉｅ Ｉ，ｅｔ ａ１．Ｓｔａｃｋｅｄ ｄｅ— ｎｏｉｓｉｎｇ ａｕｔｏｅｎｃｏｄｅｒｓ：ｌｅａｒｎｉｎｇ ｕｓｅｆｕｌ ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｉｎ ａ ｄｅｅｐ ｎｅｔｗｏｒｋ ｗｉｔｈ ａ ｌｏｃａｌ ｄｅｎｏｉｓｉｎｇ ｃｒｉｔｅｒｉｏｎ［Ｊ］． Ｊｏｕｒｎａｌ ｏｆ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ Ｒｅｓｅａｒｃｈ，２０１０，１１： ３３７１—３４０８． ［２９］ Ｍａｓｃｉ Ｊ，Ｍｅｉｅｒ Ｕ，Ｃｉｒｅ￣ａｎ Ｄ，ｅｔ ａ１．Ｓｔａｃｋｅｄ ｃｏｎｖｏｌｕ— ｔｉｏｎａｌ ａｕｔｏ—ｅｎｃｏｄｅｒｓ ｆｏｒ ｈｉｅｒａｒｃｈｉｃａｌ ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｎｎ ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ２１ｓｔ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｒｔｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ． Ｅｓｐｏｏ：Ｓｐｒｉｎｇｅｒ Ｖｅｒｌａｇ， ２０ｌ１：５２—５９． ［３０］ Ｐｉｎｈｅｉｒｏ Ｐ Ｏ，Ｃｏｌｌｏｂｅｒｔ Ｒ．Ｒｅｃｕｒｒｅｎｔ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕ－ ｒｌａ ｎｅｔｗｏｒｋｓ ｆｏｒ ｓｃｅｎｅ ｌａｂｅｌｉｎｇ［Ｃ］ｆｆＰｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ３ １ｓｔ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ．Ｂｅｉ— ｊｉｎｇ：ＩＭＬＳ，２０１４：８２～９０． ［３１］ Ｚｅｉｌｅｒ Ｍ Ｄ，Ｆｅｒｇｕｓ Ｒ．Ｓｔｏｃｈａｓｔｉｃ ｐｏｏｌｉｎｇ ｆｏｒ ｒｅｇｕｌａｒｉｚａ一 ｔｉｏｎ ｏｆ ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ［ＤＢ／ＯＬ］． ［２０１４—０５—０８］．ｈｔｔｐ：∥ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／１３０１．３５５７． ｐｄｆ． ［３２］ＬｅＣｕｎ Ｙ，Ｊａｃｋｅｌ Ｌ Ｄ，Ｂｏｔｔｏｕ Ｌ，ｅｔ ａ１．Ｌｅａｒｎｉｎｇ Ａｌｇｏ一 ｒｉｔｈｍｓ ｆｏｒ Ｃｌａｓｓｉｉｆｃａｔｉｏｎ：Ａ Ｃｏｍｐａｒｉｓｏｎ ｏｎ Ｈａｎｄｗｒｉｔｔｅｎ Ｄｉｇｉｔ Ｒｅｃｏｇｎｉｔｉｏｎ［Ｍ］．Ｋｏｒｅａ：Ｗｏｒｌｄ Ｓｃｉｅｎｔｉｉｆｃ，１９９５， ２６１—２７６． ［３３］ Ｋｒｉｚｈｅｖｓｋｙ Ａ，Ｓｕｔｓｋｅｖｅｒ Ｉ，Ｈｉｎｔｏｎ Ｇ Ｅ．Ｉｍａｇｅｎｅｔ ｃｌａｓ— ｓｉｉｆｃａｔｉｏｎ ｗｉｔｈ ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ［Ｃ］∥ Ｐｒｏｃｅｅｄｉｎｇ ｏｆ ２６ｔｈ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｎｅｕｒａｌ Ｉｎｆｏｒ－ ｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ．Ｌａｋｅ Ｔａｈｏｅ：Ｎｅｕｒａｌ ｉｎｆｏｒｍａ— ｔｉｏｎ ｐｒｏｃｅｓｓｉｎｇ ｓｙｓｔｅｍ￣ｕｎｄａｔｉｏｎ，２０１２：１０９７—１１０５． ［３４］ Ｚｈｅｎｇ Ｙｉ，Ｌｉｕ Ｑｉ，Ｃｈｅｎ Ｅｎｈｏｎｇ，ｅｔ ａ１．Ｔｉｍｅ ｓｅｒｉｅｓ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｕｓｉｎｇ ｍｕｌｔｉ—ｃｈａｎｎｅｌｓ ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ １５ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｃｎｅ ｏｎ Ｗｅｂ－Ａｇｅ Ｉｎｆｏｒｍａｔｉｏｎ Ｍａｎａｇｅｍｅｎｔ． Ｍａｃａｕ：Ｓｐｒｉｎｇｅｒ Ｖｅｒｌａｇ，２０１４：２９８—３１０． ［３５］ Ｍｏｈａｍｅｄ Ａ Ｒ，Ｄａｈｌ Ｇ Ｅ，Ｈｉｎｔｏｎ Ｇ．Ａｃｏｕｓｔｉｃ ｍｏｄｅ— ｌｉｎｇ ｕｓｉｎｇ ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋｓ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ａｕｄｉｏ，Ｓｐｅｅｃｈ ａｎｄ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，２０１２，２０ （１）：１４—２２． ［３６］ Ｂｅｎｇｉｏ Ｙ，Ｃｏｕｒｖｉｌｌｅ Ａ，Ｖｉｎｃｅｎｔ Ｐ．Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｌｅａｒｎｉｎｇ：ａ ｒｅｖｉｅｗ ａｎｄ ｎｅｗ ｐｅｒｓｐｅｃｔｉｖｅｓ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ ｌｎｔｅｌｌｉ— ｇｅｃｎｅ，２０１３，３５（８）：１７９８—１８２８． ［３７］ Ｓａｉｎａｔｈ Ｔ Ｎ．Ｉｍｐｒｏｖｅｍｅｎｔｓ ｔｏ ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｌａｒｇｅ ｖｏｃａｂｕｌａｒｙ ｃｏｎｔｉｎｕｏｕｓ ｓｐｅｅｃｈ ｒｅｃｏｇｎｉｔｉｏｎ ｔａｓｋｓ 【Ｒ Ｉ．ＩＢＭ Ｔ．Ｊ．Ｗａｔｓｏｎ Ｒｅｓｅａｒｃｈ Ｃｅｎｔｅｒ，２０１４． ［３８］ Ｓｏｈｎ Ｋ，Ｊｕｎｇ Ｄ Ｙ，Ｌｅｅ Ｈ，ｅｔ ａ１．Ｅｆｉｆｃｉｅｎｔ ｌｅａｒｎｉｎｇ ｏｆ ｓｐａｒｓｅ，ｄｉｓｔｒｉｂｕｔｅｄ，ｃｏｎｖｏｌｕｔｉｏｎａｌ ｆｅａｔｕｒｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｆｏｒ ｏｂｊｅｃｔ ｒｅｃｏｇｎｉｔｉｏｎ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇ ｆｏ２０１ １ ＩＥＥＥ Ｉｎ— ｔｅｒａｎｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ． Ｂａｒｃｅｌｏｎａ： ＩＥＥＥ．２０１１：２６４３—２６５０． ［３９］ Ｃｕｉ Ｚｈｅｎ，Ｃｈａｎｇ Ｈｏｎｇ，Ｓｈａｎ Ｓｈｉｇｕａｎｇ，ｅｔ ａ１．Ｊｏｉｎｔ ｓｐａｒｓｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｆｏｒ ｖｉｄｅｏ—ｂａｓｅｄ ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ［Ｊ］．Ｎｅｕｒｏｃｏｍｐｕｔｉｎｇ，２０１４，１３５：３０６—３１２． ［４０］ 关海鸥，杜松怀，许少华，等．基于改进投影寻踪技 术和模糊神经网络的未受精种蛋检测模型［Ｊ］．江苏 大学学报：自然科学版，２０１３，３４（２）：１７１—１７７． Ｇｕａｎ Ｈａｉｏｕ，Ｄｕ Ｓｏｎｇｈｕａｉ，Ｘｕ Ｓｈａｏｈｕａ，ｅｔ ａ１．Ｄｅｔｅｃ— ｔｉｏｎ ｍｏｄｅｌ ｏｆ ｏｎ—－ｆｒｅｔｉｌｉｚｅｄ ｅｇｇ ｂａｓｅｄ ｏｎ ｉｍｐｒｏｖｅｄ ｐｒｏｊｅｃ－・ ｔｉｏｎ ｐｕｒｓｕｉｔ ａｎｄ ｆｕｚｚｙ ｎｅｕｒｌａ ｎｅｔｗｏｒｋ［Ｊ］．Ｊｏｕｒｎａｌ ｏｆ Ｊｉａｎｇｓｕ Ｕｎｉｖｅｒｓｉｔｙ：Ｎａｔｕｒａｌ Ｓｃｉｅｎｃｅ Ｅｄｉｔｉｏｎ，２０１３，３４ （２）：１７１—１７７．（ｉｎ Ｃｈｉｎｅｓｅ） ［４１］ 王国林，周树仁，李军强．基于模糊聚类和形态学的 轮胎断面特征提取［Ｊ］．江苏大学学报：自然科学版， ２０１２，３３（５）：５１３—５１７． Ｗａｎｇ Ｇｕｏｌｉｎ，Ｚｈｏｕ Ｓｈｕｒｅｎ，Ｌｉ Ｊｕｎｑｉａｎｇ．Ｆｅａｔｕｒｅ ｃｘ— ｔｒａｃｔｉｏｎ ｏｆ ｔｉｒｅ ｓｅｃｔｉｏｎ ｂａｓｅｄ ｏｎ ｆｕｚｚｙ ｃｌｕｓｔｅｒｉｎｇ ａｎｄ ｍｏｒ— ｐｈｏｌｏｇｙ［Ｊ］．Ｊｏｕｒａｎｌ ｏｆＪｉａｎｇｓｕ Ｕｎｉｖｅｒｓｉｔｙ：Ｎａｔｕｒａｌ Ｓｃｉ— ｅｎｃｅ Ｅｄｉｔｉｏｎ，２０１２，３３（５）：５１３—５１７．（ｉｎ Ｃｈｉｎｅｓｅ） ［４２］ Ｓｕｎ Ｙｉ，Ｗａｎｇ Ｘｉａｏｇａｎｇ，Ｔａｎｇ Ｘｉａｏｏｕ．Ｄｅｅｐ ｌｅａｒｎｉｎｇ ｆａｃｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｆｒｏｍ ｐｒｅｄｉｃｔｉｎｇ １ ０，０００ ｃｌａｓｓｅｓ［Ｃ］ ｆ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ．Ｃｏｌｕｍｂｕｓ： ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ，２０１４：１８９１—１８９８． ［４３］ Ｃａｍｂｒｉａ Ｅ，Ｗｈｉｔｅ Ｂ．Ｊｕｍｐｉｎｇ ＮＬＰ ｃｕｒｖｅｓ：ａ ｒｅｖｉｅｗ ｏｆ ｎａｔｕｒａｌ ｌａｎｇｕａｇｅ ｐｒｏｃｅｓｓｉｎｇ ｒｅｓｅａｒｃｈ［Ｊ］．ＩＥＥＥ Ｃｏｍｐｕ— ｔａｔｏｉｎａｌ Ｉｎｔｅｌｌｉｇｅｃｎｅ Ｍａｇａｚｉｎｅ，２０１４，９（２）：４８～５７． ［４４］ Ｃｏｌｌｏｂｅｒｔ Ｒ．Ｗｅｓｔｏｎ Ｊ．Ａ ｕｎｉｉｆｅｄ ａｒｃｈｉｔｅｃｔｕｒｅ ｆｏｒ ｎａｔｕ— ｒａｌ ｌａｎｇｕａｇｅ ｐｒｏｃｅｓｓｉｎｇ：ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｗｉｔｈ ｍｕｌ— ｔｉｔａｓｋ ｌｅａｒｎｉｎｇ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ２５ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｅｎ Ｌｅａｒｎｉｎｇ．Ｈｅｌｓｉｎｋｉ，Ｆｉｎｌａｎｄ： Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍｐｕｔｉｎｇ Ｍａｃｈｉｎｅｒｙ，２００８：１ ６０—１ ６７． ［４５］ Ｓｈｅｎ Ｙｅｌｏｎｇ，Ｈｅ Ｘｉａｏｄｏｎｇ，Ｇａｏ Ｊｉａｎｆｅｎｇ，ｅｔ ａ１．Ｌｅａｒ— ｎｉｎｇ ｓｅｍａｎｔｉｃ ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｕｓｉｎｇ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ Ｗｅｂ ｓｅａｒｃｈ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆｔｈｅ ｃｏｒｎ— ｐａｎｉｏｎ ｐｕｂｌｉｃａｔｉｏｎ ｏｆ ｔｈｅ ２３ｒｄ ｉｎｔｅｒｎａｔｉｏｎａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｗｏｒｌｄ ｗｉｄｅ ｗｅｂ ｃｏｍｐａｎｉｏｎ．Ｓｅｏｕｌ：ＩＷ３Ｃ２。２０１４：３７３— ３７４． ［４６］ Ａｒｅｌ Ｉ，Ｒｏｓｅ Ｄ Ｃ，Ｋａｒｎｏｗｓｋｉ Ｔ Ｐ．Ｄｅｅｐ ｍａｃｈｉｎｅ ｌｅａｒ— ｎｉｎｇ ａ ｎｅｗ ｆｒｏｎｔｉｅｒ ｉｎ ａｒｔｉｉｆｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ ｒｅｓｅａｒｃｈ ［Ｊ］．ＩＥＥＥ Ｃｏｍｐｕｔａｔｉｏｎａｌ ｌｎｔｅＵｉｇｅａｃｅ Ｍａｇａｚｉｅｎ，２０１０， ５（４）：１３—１８． ［４７］ Ｂｅｎｇｉｏ Ｙ．Ｄｅｅｐ ｌｅａｒｎｉｎｇ ｏｆ ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ：ｌｏｏｋｉｎｇ ｏｆｒ－ ｗａｒｄ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ １ｓｔ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏ￣ｒｅｃｎｅ ｏｎ Ｓｔａｔｉｓｔｉｃａｌ Ｌａｎｇｕａｇｅ ａｎｄ Ｓｐｅｅｃｈ Ｐｒｏｃｅｓｓｉｎｇ．Ｔａｒｒａｇｏ— ｎａ，Ｓｐａｉｎ：Ｓｐｒｉｎｇｅｒ Ｖｅｒｌａｇ，２０１３：１—３７． （责任编辑梁家峰）
