第卷第期电子科学学刊、勺年月小波分析与神经网络结合的研究进展陈哲冯天瑾青岛海洋大学电子工程系青岛摘要目前小波与神经网络的结合是一个十分活跃的研究领域本文综述了这一领域的研究进展和现状从两者结合方式的不同将其分为辅助式及嵌套式两种结合方式重点阐述了嵌套式的结合方式一小波神经网络并对其主要模型算法和其它相关问题进行了论述本文还讨论了小波网络的各种应用从中可以看到它在函数逼近信号分类系统辨识图像压缩等应用领域有极大的潜力最后展望了今后的研究方向关键词神经网络小波小波网络中图号引言从年入和、首次提出神经元网络模型到年代中期等人的出版【’世界范围内兴起了神经网络的研究热潮前向多层神经网络是一种最为广泛应用的神经网络模型用干训练前馈网络最常用的学习方法是算法实践证明神经网络具有强大的空间映射能力小波自年和首次提出以来已成为信号处理的强有力工具小波分析被认为是傅里叶分析的突破性进展“一由于小波具有良好的时频局部特性和变焦特性而神经网络具有自学习自适应性强鲁棒性和推广能力如何把小波和神经网络结合起来一直是人们关注的问题目前小波与神经网络的结合表现有以下两个途径一个途径是辅助式结合比较典型的是利用小波分析对信号进行预处理然后用神经网络学习与判别比如在模式识别中先用小波对信号进行预特征提取然后用神经网络进行判决分类另一个途径是嵌套式结合即把小波变换的运算融入到神经网络中去形成所谓的小波神经网络或小波网络这是两者结合的主要方式其中小波与前馈神经网络的结合又是最主要的研究方向小波与神经网络的辅助式结合小波与神经网络辅助式结合的主要形式有两种一种是用神经网络求小波系数或参数例如用神经网络求出小波最优系数图等人利用神经网络自适应选择小波参数提高了检测的精度陈‘另一种是先用小波变换对信号进行预处理提取信号的小波特征再将特征量送人神经网络处理数据经过小波变换的压缩能有效地减少神经网络的输入层单元数如图像压缩川数据分类心电信号的检测“小波与前馈网络结合是小波与神经网络结合的主要形式除此以外小波还可以与其它神经网络相结合例如用网络实现对信号的自适应小波分解网络与小波的结合等小波神经网络小波神经网络是在小波分析研究基础上提出的一种前馈网络它可以被认为是网‘卯收到定稿国家自然科学基金资助期陈哲等小波分析与神经网络结合的研究进展络的推广网络所不同的特点在神经网络领域中具有但它又具有与一般前馈网络和良好的发展潜力现就其主要模型和算法综述如下基本模型及算法证明了仅含一层隐层的非线性连续变换函数的多输入单输出三层网络可以用来逼近有界区域上的任一连续函数’“小波神经网络也一般采用单隐层结构’和最早研究了神经网络与小波变换的联系首次提出了离散仿射小波网络模型”其思想是将离散小波变换引入神经网络模型离散仿射小波变换的实函数构造出仿中的框架于是可由质是通过对单个函数的平移和伸缩构成护’射框架和小波网络法年代替了神经元川和、明确提出了小波网络的概念和算“门并就函数逼近对小波网络与神经网络小波分解的实验结果进行了比较其基本思想是用小波元对于一维输入、即激活函数为已定位的小波函数基通过仿射变换建立起小波变换与神经网络的联接一￡筵‘。、。、二针。女图其模型简述如下十了了为‘的均值估计若令丈。三导则可简化为二筵、析图小波基函数网络对于多维输入对角矩阵随后月二又仁二叫,、一动了其中是由仲缩矢量沉构成的,是旋转矩阵又提出了两种基于连续小波变换的自适应小波神经网络模型分别和用于信号表示和信号分类如图用于信号分类识别的实质是在小波特征空间中寻找一组适合的小波基通过对网络的学习自适应地调整小波参数以使代价函数最小少竺鱼少一丸卜」汾协公厂、一令一一卜用一卜仁飞侧立个一二,个州竺生兰—图自适应小波网络用于信号分类电子科学学刊卷信号表示一艺忿切、功加铃信号分类。乞‘一￡典一艺淮,、‘。导‘一‘…为‘‘函数用于信号表示或逼近与用于信号分类的小波网络的用途不同决定了其特点也不同前者用正交小波更能有效地逼近信号或函数后者着重于选取合适的小波做特征提取以利于分类由于不涉及重构问题小波的正交性并不是非常重要的提取的信号的小波特征应融人必要的不变性量并应具有鲁棒性此外信号分类往往是离线训练过程对实时处理的要求并不严格和利用正交小波函数作为神经元的激活函数提出了正交小波神经网络及学习算法降‘其基本思想是依据多分辨率分析理论用小波分解对样本进行分析网络一部分隐结点取为尺度函数甲另一部分隐结点取为小波函数劝采用逐级学习的方法来训练网络即劝艺仇其中氏为对应的尺度或小波函数为权值对于函数先在最粗分辨率下逼近然后可逐渐增加细节信息网络训练由粗到细逐渐增加结点由于甲与劝的相互正交性只需训练新增加的小波元的权重系数即可由于正交小波基具有良好的时一频分辨性能信号剧烈变化时可增加分辨尺度的细化来保证逼近的精度而且训练过程中添加删除网络结点不影响已训练好的网络权值网络学习的时间因而大大减少等研究了前人的小波网络模型提出了另一种正交小波基神经网络阳其基本思想是选用正交且具有类紧支特性的尺度函数对函数进行逼近文章给出了确定隐层单元数的算法并对与和网络进行了性能比较小波网络的推广和改进小波网络的概念和模型提出以后引起了人们的广泛研究兴趣并对其模型和算法进行了改进焦李成等在前人工作基础上提出了多变量函数估计小波网络〔“沈雪勤等针对神经元个数过多网络学习收敛速度较慢的问题在时频分析基础上引入了能量密度的概念提出了基于能量函数的小波神经网络““最近张拔等针对小波网络高维映射学习所用神经元数目过多和维数灾问题分析指出对有限区间上能量有限信号的学习采用尸上的小波多尺度结构是不理想的于是重新定义口上的多尺度分析提出区间小波网络模型并通过理论与模拟实例证明区间小波神经网络优于以前的小波神经网络,“”焦李成等人研究了小波网络与模糊逻辑的结合用隶属函数表示权重值构造模糊权值模糊输出的小波网络”何振亚等构造了一种自适应时延小波网络针对存在不同时延的信号用一个超小波进行逼近并给出一种基于时间竞争的学习算法口‘文献【提出了一种小波神经网络的推广模型激励函数,“波函数和连接权函数都取为非线性函数此外还有紧支非正交小波网络“”小波网络阳结构自适应调整的时一频小波网络模型饰等训练前馈神经网络最常用的学习方法是算法但算法存在着众所周知的学习收敛速度慢的问题首次提出小波网络模型时使用了随机梯度算法‘”则提出学习速度更快的共扼梯度算法脾。近年来又出现了针对各种小波网络模型的算法研究例如模糊小波神经网络的区间学习算法冲模糊推理小波神经网络算法基于离散小波的学习算法〔“剑等算法研究的主要一点是关于衡量最优的代价函数的选择最小均方误差是最常用的标准此外还可以选择最小最大标准最小错分误差标准阳最小正交二乘标准“期陈哲等小波分析与神经网络结合的研究进展其它问题讨论小波神经网络的研究除了模型和算法的研究外还有许多值得探讨的问题例如小波网络的分类构造结构小波基函数的选择小波网络与其他网络的性能比较等以下就这几个问题进行阐述,卜波网络的分类小波神经网络自提出以来出现了许多模型归纳起来主要可以分为以下几种类型按小波基函数和学习参数的选取可分为连续小波神经网络有限离散值来源于连续小波变换的定义其特点是基函数的定位不局限于冗余度高无法固定小波参数与函数之间的对应关系具有类网络的非线性优化问题但小波分析理论有助于网络参数和结构的初始化使网络有似较强的逼近能力和收敛速度离散仿射小波神经网络来源于离散仿射小波变换的反演方程其理论基础是小波展开式不唯一框架但紧框架下的小波基不一定是正交基学理论概念清楚实现方便应用较广离散正交小波神经网络基函数为尸有一定的冗余度可能不具有紧支特性其数中正交小波函数系主要理论依据是构造的紧支撑正交小波御及多分辨率分析网’其理论研究意义明确但正交基构造及网络学习算法较复杂网络抗干扰能力较差正交小波网络继承了小波框架网络的优点而且由于其基函数的正交性对函数的逼近更有效按小波基在网络中的作用不同激活函数型小波网络已定位的小波函数基可分为函数小波函数在网络中代替了传统的代替了原来的非线性特性激活函数为的用于函即用例如图数逼近的小波网络权重型小波网络的内积小波函数集在网络中充当若干组权重值输入信号是信号与小波的用于信号分类的自适应小波网络按小波的维数不同可分为例如图一维小波网络建立在一维小波变换基础上主要用于函数逼近非参数估计是目前研究和应用最多的模型的逼近器‘,多维小波网络到多维情形用张量积可参考有关文献呻现已经证明在逼近单变量函数时小波神经网络是渐进最优在一维基础上讨论的理论同样适用干二维图像类似地还可以推广我们可以在一维情形的基础上利用直积构造多维正交多分辨率分析定义多维母波或利关于构造多维小波框架的理论读者小波网络的构造小波神经网络的构造是一个重要的问题和、首先用回归分析给出了小波网络的构造方法叫用小波变换对前馈神经网络进行综合在文献中提出了利系统提出了一的两种方法其系统地定义了网络的拓扑结构基元提前确定网络中的部分权重值简化了网络的训练问题文献种小波基函数网络结构设计的分解一综合方法有效地减少了构造小波网络所需的小波,卜波函数的选择构造小波网络时选择什么类型的小波函数以及根据不同情况选择相同或不同的小波基函数也是一个值得研究的问题目前这方面定性的研究不多在实。一‘。‘践中“小波应用领域甚广例如信号表示和分类取图像识别团特征提取’,一二。一护高斯函数一阶导数用于函数估计”墨西哥电子科学学刊卷草帽小波用于系统辨识卿样条小波用于材料探伤睁‘正交基用于差分方程求解脾还可以选择几个函数的组合哪作为小波函数正交小波神经网络的小波基一般选择构造的具有紧支撑的正交小波小波网络与和比较网络是一种特殊的三层前向网络其中径向基函数对应着隐层的神经元基函数簇通常为同一类型可由一个母函数经过平移旋转和尺度变换得到母函数是形状不同的轴对称函数最常见的是高斯函数功一二一‘“口犷,评价其中〔尸“表示网络输入向量任刀”表示第乞个隐元的高斯分布曲线的作用中心口为隐元宽度夸〔“为输出量评任尸“”为权矩阵网络实际匕是用一组具有紧支集的径向基函数来表示任意函数这组基函数往往是非正交的而小波神经网络是网络的推广它用小波斜交或正交基来逼近任意函数多层感知器是一种多层前馈网络其激活函数一般选用函数或函数其中杯护且,任所以函数难以保证解的唯一性也难以找到尸函数所对应的反演公式而连续的激活函数是显式小波函数劝〔尸且劝任仿射可选用具有阶正则性的具有良好的指数衰减待性的非紧支正交小波基砂任“正交激活函数是具有紧支性任意阶正则性零冗余性的正交小波基的基函数均不正交相关冗余度大因此权值学习训练往往呈现峡谷性误差曲面收敛速度慢权值之间相关度很小对某一权值训练不会影响其它权重因而收敛速度快网络原则上可以任意精度逼近给定函数但它需要无限多权值对基函数的伸缩平移系作线性展开因而难以定量分析逼近的分辨尺度与在一定程度上可进行等效性分析举两个简单的例子就可以说明一‘一‘一‘小波劝矛‘‘一‘工十‘‘劣一二、二一一,二一可分解为三个函数组合函数一劝二二一一。即三个函数组合可生成一个带限小波函数因此从直观上看小波网络可以等效为三个的组合近似估值能力是的三倍虽然函数不满足框架条件但三个函数的线性组合得到的砂却可以实现队‘“此外人几学习算法忽视了许多包含在训练数据中的先验知识从而忽略了权重设计中潜在的简化问题而的训练数据的预处理将导致训练问题的凸性因而在选择权重时更具指导性基于算法的常常遇上局部最小值问题而正交的能量函数是凸函数因而其任何极小值就是全局最小值理论分析和模拟实例均表明小波神经网络具有逼近能力强网络学习收敛速度快参数隐层结点数和权重的选取有理论指导有效避免了局部最小值问题等优点哪它比单纯的小波分解可使用更少的基函数也优于同样单元数目的神经网络然而小波神经网络也有不足之处相比而言小波运算复杂度增加了如前所述当神经元个数过多时网络学习及收敛速度缓慢高维映射学习时易产生维数灾这两点可考虑通过光学或技术实现高速并行运算而较好地解决期陈哲等小波分析与神经网络结合的研究进展应用与展望展小波神经网络最初主要用于函数逼近冲应用领域也不断拓宽如非参数估计哪数据与图像压缩冲,近年来语音识别即随着小波网络的理论不断发心电信号的识别与分类阶模式识别卿一小波网络在我国也引起了广大学者的关注。叫欲了解叼详细资料可参照有关文献总体而言小波网络的理论和应用研究还处于初始阶段迄今还存在许多有待解决的问题这无疑是我们今后的研究方向小波网络的新模型及其学习算法例如可考虑基于小波包的小波网络哪〕,,二〕,小波网络〕小波与联想记乙神经网络的结合‘”多分辨分析与神经网络的结合‘,川关于小波网络的结构近年来有人提出多层结构小波网络局域连接型的小波网络卿目前神经网络的研究正由单纯的神经计算转向计算智能并结合脑科学的研究向生物智能方向发展小波网络的研究也应该考虑吸收模糊分形混沌进化计算等交叉学科的研究成果如小波网络与模糊逻辑的结合如小波模糊神经网络‘又如考虑小波网络与分形理论的结合构造分形小波卿旅小波包模糊聚类网络冲〕网络小波网络算法与遗传算法和进化计算的结合研究等小波网络的收敛性鲁棒性计算复杂度等研究这方面的参考文章可参见文献离散正交小波网络构造的复杂性问题以及多维输入出现的封如何把输入信号特征与尺度以压缩信号特征信息维数灾问题平移旋转等不变性量结合起来输入小波网络训练加速训练过程小波基函数的选择是不同类型和二实际应用不同情况应选取何种小波小波基应选取相同类型还选取的数目和标准是什么如何用理论指导网络中小波的初始化参数硬件实现神经网络的光学实现是当前的研究热点之一值得一提的是等人在这方面做了不少工作构造了一种神经网络光学耳蜗’’地劝模型有兴趣的读者可参见文献’及其引用的文献另外文献提出了一种基于并行的推广和应用神经计葬机结构的模型可以看到技术的实现无疑将进一步促进小波神经网络由于把神经网络的自学习特性和小波的局部特性结合起来具有自适应分辨性和良好的容错性因此特别适合应用在函数逼近模式识别等领域小波神经网络的理论和应用研究近年来发展很快限系统辩识数据压缩由于所查文献和资料有不可能囊括所有的研究成果由于篇幅所限许多应用方面文献也没有列入有兴趣的读者可以参阅近几年来的国际会议论文和有关刊物参考一文献入,一入、、恤、,一物、,、从乞丫、电子科学学刊卷一八们八,升一一,一、一一又,、、一。佣,,一巍。从、一一呢,一一、一一,、。、一一‘、,,‘,一一、及、一今刁曰门洲匕七、士一少、手〔、、一、一‘“、℃工‘认,,、一、从〔、肠丘丈一。认、。、。、,、,、一一一、、℃一一一之‘,,,,,,、工、、,飞,、丁一一、、认、℃认往、℃,,劝一、、技人。亡从恤一一石卓尔焦李成保铮子波神经网络中国神经网络年学术大会论文集上西安一丁宇新沈雪勤基于能量密度的小波神经网络计算机学报沈雪勤贾向红吴水清能量密度在正交小波神经网络中的应用年中国神经讨劳科学大会论文集南京一高协平张钱区间小波神经网络一理论与实现软件学报高协平张钱区间小波神经网络一性质与模拟软件学报一王岭焦李成区间估计的及其区间学习算法电子学报一、别、厄、认冬认,一何振亚李文化蔚承建用于信号山丘的自适应时延小波小波神经网络电子科学学刊一陈维荣钱清泉一种形式神经元的统一模型年中国神经计约科学大会论文集南京一甜亡、、上上之一一丫,一〔一,‘、℃,、,,,,,丈、一嘴亩臼臼自口期陈哲等小波分析与神经网络结合的研究进展任﹄匕孙一口,姚骏京彭汉川甘强等基于离散小波变换的小波网络学习算法及其在心电信号识别中的应用南一一肠一一入,一一人入玉〔,、一人一、劝一,吕阵一日﹄斗匕限旧山冈四伙日闰陷临陌陈阻沁阳阳阵巨﹄,,王入、,一张邦礼李银国张邦礼曹长修小波神经网络的构造及其算法的鲁棒性分析重庆大学学报一一李银国曹长修小波神经网络及其结构设计方法模式识别与人工智能柳振宇戚飞虎沈定刚基于不变矩和子波神经网络的图像识别一网络理论及应用一最新进展武汉张艳宁中国神经网络大会论文集西北工业大学学报一中国神经孙进才孙玉兰等一种基于自适应子波神经网络的船舶噪声分类方法一张艳宁李向武曰焦李成基于自适应子波的目标特征提取方法南京韦岗陶宝棋保铮一小波神经网络的动态系统辨识方法及应用控制理论与应用一一吴耀军袁慎芳样条小波神经网络模式识别与人工智能水鹏朗一焦李成玉一种基于子波神经网络的多尺度差分方程求解新方法电子科学学刊,玉、一叭牡一、一、一一、公一从龟一口李建平一杨晓帆陈廷槐基于小波变换和神经网络的图像压缩基于小波神经网络的长期预报研究神经网络理论与应用研究成都金龙刘伟秦伟良李金屏罗莹等南京科学通报一熊建辉等小波神经网络在红外光谱数据压缩中的应用电子学报一徐晓霞王忠勇吕柏权陈涛王晓升基于正交最小二乘的小波神经网络混沌系统的小波基控制一蔡远利李天铎贾冬吕崇德物理学报一等一种用于函数学习的小波神经网络自动化学报一电子科学学刊卷佑陷陌口、巧一、人入一入一丁哨卫王煦法冯焕清等基于自组织联想小波神经网络的聚类方法中国科学技术大学学报一黄凤岗孙文彦王莹一种用于自适应的小波神经网络电子学报一即了张艳宁焦李成局域自适应子波高斯神经网络综合分类系统电子科学学刊一、从傲、、二二,玉一、,飞一︸赵纪元间正嘉孟庆丰等小波包模糊聚类网络研究及应用西安交通大学学报一、亡,,、一一卜一一一‘、一、从、一焦李成神经网络的应用与实现西安西安电子科技大学出版社第二章人几入、、厂又一火扩,‘夕,‘。。,,‘夕。,,‘。,‘乙‘‘乞,,、叮了‘夕‘了‘夕,一毛玉名℃一、从、是月飞、注、工找、玉。。,,,〔,二叭一,一从、从一一、一从般从认、认、从火陈哲男年生硕士生主要研究领域包括神经网络小波分析图像处理冯天瑾年生教授高级会员主要研究领域为神经网络人工智能人工程们勺自阳门
