像素级图像融合

毕业设计〔论文〕

设计(论文)题目

像素级图像融合方法

姓 名： 学 号：

李桂楠 202100800668

学 院： 机电与信息工程学院 专 业： 年 级 指导教师：

自动化 2021级 孙甲冰

山东大学〔威海〕毕业论文目录

目 录

摘 要 .................................................. 4 Abstract ................................................. 5 第一章 绪 论 ............................................ 1 1.1课题背景及来源 ..................................... 1 1.2图像融合的理论根底和研究现状 ....................... 1 1.3图像融合的应用 ..................................... 1 1.4图像融合的分类 ..................................... 1 第二章 像素级图像融合的预处理 ........................... 3 2.1图像增强 .......................................... 3 2.2图像校正 .......................................... 6 2.3图像配准 .......................................... 6 第三章 像素级图像融合的方法综述 ......................... 8 3.1加权平均图像融合方法 ............................... 8 3.2 HIS空间图像融合方法 ............................... 8 3.3 主成分分析图像融合方法 ............................ 8 3.4 伪彩色图像融合方法 ................................ 9 第四章 基于小波变换的像素级图像融合概述 ................ 10 4.1 小波变换的根本理论 ............................... 10 4.2 基于小波变换的图像融合 .......................... 11 4.3基于小波变换的图像融合性能分析 .................... 12

山东大学〔威海〕毕业论文目录

第五章 像素级图像融合方法的研究总结与展望 .............. 19 参考文献 ................................................ 20 谢 辞 .................................. 错误!未定义书签。

山东大学〔威海〕毕业论文摘要

摘 要

近些年，随着科学技术的飞速开展，各种各样的图像传感器出现在人们的视野前，这种样式繁多的图像传感器在不同的成像原理和不同的工作环境下具有不同功能。而因为多传感器的不断涌现，图像融合技术也越来越多的被应用于医学、勘探、海洋资源开发、生物学科等领域。

图像融合主要有像素级、决策级和特征级三个层次，而像素级图像融合作为根底能为其他层次的融合提供更准确、全面、可依赖的图像信息。本文的主要工作是针对像素级的图像融合所展开的。

关 键 词

图像融合理论根底、加权平均、图像融合方法、小波变换、

I

山东大学〔威海〕毕业论文摘要

Abstract

In recent years, with the rapid development of science and technology, all kinds of image sensor appear in front of the people's field of vision, image sensor in a wide range of this style in different imaging principle and under different working conditions have different function. And because of multiple sensors, image fusion technology is also more and more been used in medical, exploration, Marine resources development, biological sciences, and other fields, and image fusion for national security more strategic significance to construction and economic development. Therefore, the study of image fusion is and its important theoretical significance and application prospects.

Image fusion is divided into pixel level, feature level and decision level three different levels, image fusion at pixel level and as a basis for other levels of fusion provide more accurate, comprehensive, image information can be lazy, is advantageous to the image analysis and further research. The research work of this article is the surrounding image fusion at pixel level.

Key words

image fusion, weighted average, pseudo color image fusion method and wavelet transform

II

山东大学〔威海〕毕业论文绪论

第一章 绪 论

1.1课题背景及来源

在现代化的农业、生活、资源管理开发、国防等方面的实际应用中，图像融合被广泛的开发应用，是较为常用的图像信息融合技术，它可以对源图像中的像素进行逐个的信息融合，尽可能保存源图像中的重要信息以得到对图像更精确、更丰富的描述。为了特征级和决策级的研究提供帮助。

本章主要工作是对图像融合的理论和开展做出介绍，并在该根底上分析图像融合在实际应用前景。

1.2图像融合的理论和现状

图像融合是对不同传感器所收集到的一幅或者多幅源图像进行融合，用融合技术合成同一幅包含了多幅源图像优点、内容更加全面丰富的图像，其最早产生于20世纪70年代末，而该技术随着实际应用中的所占比例的增大在其后的时间内有了很大的开展。

虽然图像融合技术越来越多地在实际生活中得到应用，但因为该技术所覆盖领域的广泛性和该技术的多样性，研究结果只是反映了特定的方面，而不是形成完整的体系。总而言之，其中仍有很多问题有待我们的解决和探讨。

1.3图像融合的应用

多传感器技术的提高和电子科技技术方面的提高，图像融合技术越来越多的被用于实际应用中。

在民用方面，图像融合在应用于各个领域。遥感方面，随着遥感技术的开展，在同一地区可使用越来越多不同的传感器，因此能获得不同时间段的各类遥感图像信息，国土资源规划等方面都有效的利用到该技术。在医学领域，多模医学图像融合技术已经被广泛的用于医疗诊断中，根据不同影像设备可反响出人体体征情况各有不同，弥补了原来医学单一成像的缺点。

在军事领域，随着传感器的种类不停增多，可得到的战场信息战况越来越丰富，而有关于战场图像信息的分析也需要越来越准确，而多传感器图像融合技术那么成为控制战争态势的有效利器。

1

山东大学〔威海〕毕业论文绪论

1.4图像融合的分类

〔1〕按信息表征层次分类 像素级图像融合：根据某个融合规那么直接对源图像灰度进行融合。像素级图像融合是最低层次的融合，但其保存信息的能力要强于决策级和特征级。但像素级融合对配准精度的要求也更高。

特征级图像融合：在像素级的根底上提取其特征信息进行综合性分析和融合处理。特征级融合首先从各个多传感器图像中提取原始信息特征，去掉其中的虚无用特征。特征级图像融合能压缩信息，还能保存图像的复合特征，可以直接为决策级融合分析提供帮助。

决策级图像融合：是最高层次的融合，从源图像中获取特征信息并进行预处理，得出各自的决策，合并成一个全局性的联合决策。决策级图像融合有较高的实时性和容错性，但是在处理过程中损失的图像信息量大，预处理的要求也比拟高。

〔2〕按图像源分类

同类传感器图像融合：对同一传感器在不同成像模式下获得图像进行融合。 异类传感器图像融合：将不同类型的并且彼此相互传感器收集到的图像进行融合。

遥感图像融合：对多遥感器所获得的图像进行融合。 〔3〕按融合方法分类

基于空间域的图像融合：在像素级别上对图像直接进行处理。其算法有：加权平均法、主成分分析法、HIS空间法、伪彩色法等等。 基于变换域的图像融合：首先对多幅源图像进行图像变换，之后在对其获得的系数按准那么进行融合，再对其进行逆变换得到融合结果。常用算法有：傅里叶变换，多尺度分解等等。

2

山东大学〔威海〕毕业论文系统总体方案

第二章 像素级图像融合的预处理

像素级图像融合是最底层的图像融合，它可以获得另外两个层级不能获得的细微的源图像信息，因为要精确要像素级别，所以在图像融合前要进行预处理，例如图像的增强、校正、配准等。

2.1图像的增强

图像增强是一类图像预处理的技术，其目的是为了获得效果更明显、对研究内容更加有用的图像信息。

图像增强的主要方法有： 1.空间域增强 2.频率域增强。 （一） 空间域增强

1.线性变换和非线性变换

在对图像的像元进行灰度值的变换以后，我们将会得到可视度更高、分辨率更为清晰的图像。根据变换函数分类，当变换函数为线性或者分段函数时，称其为线性变换。

灰度变换的过程可以表示为：g(x,y)=T[h(x,y)],射映射为T，那么输入图像中的每个像素的灰度值f〔x，y〕可以通过该映射，经过变换后得到输出图像的灰度值h〔x，y〕。

简单的线性变换公式课定义为：

g（x，y）d-c[h(x,y)m]c，其中，n和m分别为输入图像亮度分n-m量的最大和最小值，d和c分别是输出图像亮度分量的最大和最小值。如图1所示，在线性变换后其灰度范围明显扩大，由[m,n]扩展为[c，d]。变换后的图像中相邻像素灰度的差值增加，将有效改善图像视觉效果。线性变换效果图如下：

3

山东大学〔威海〕毕业论文系统总体方案

非线性变换那么可以理解为，变换函数是非线性的，那么为非线性变换，它是有选择的对某一灰度范围进行扩展。指数变换和对数变换都是比拟常用的非线性变换。

指数变换一般公式为：

xbbe对数变换一般公式为：

axac

xbblg（axa1）c

其中，xa和xb分别表示变换前和变换后每个像元的灰度值。a、b、c为参数。

图4 非线性灰度变换 2.空间增强

为了到达强化图像特征信息的目的，那么采用空间增强。领域处理：对于某一图像〔i，j〕，对于该图像像元的集合{i+m，j+n}〔m、n为任意整数〕称为该像元的领域。

由图可知g(i,j)可由f〔i，j〕确定，它们分别为处理前和处理后的像元值，这种处理称为领域处理。领域运算的计算表达式为：

g(i,j)N[N(i,j)]

N为对N(i,j)像元的运算法那么。

4

山东大学〔威海〕毕业论文系统总体方案

卷积运算：在空间域上对图像做加权求和的过程。需选定一个模板。 在运算前，需选定一个大小为AB的运算模板（a,b）。并建立一个和模板大小相同的活动窗口f(a,b)，再将模板与窗口的对应的灰度值做对应运算。得到新的窗口中心灰度值。其公式为： g(m,n)f(a,b)(a,b) ab11AB将模板和窗口作相同移动后再按上式计算得出新的灰度值。根据该公式进行类推，最后获得目标图像。

平滑：传感器在成像过程会存在各种客观原因造成的误差，图像在形成过程中会出现“噪声。〞平滑的目的是为提高图像质量而进行的处理。

锐化：锐化可突出边缘和线状口信息。 〔二〕频率域增强

在图像处理过程中，像元的灰度值随着位置变化的频繁程度用频率来表示，属于空间频率。对于边缘、线条、噪声等特征，在短像元距离内灰度值变化频率较大，而在长像元距离内灰度值逐渐变化。

频率域增强的过程如下：

f(x,y)傅里叶变换F（u,v）滤波H（u,v）G(u,v)傅里叶变换g(u,v)

〔三〕彩色增强 1.伪彩色增强

一副黑白的图像在经过一定规那么的变换后得到彩色图像的过程为伪彩色增强。

2.假彩色增强

假彩色增强与伪彩色增强不根本相似，而它与伪彩色增强不同在于它与原波段的真实颜色不相同，它呈现出来的颜色并不是物体的真是颜色。 〔四〕图像运算

为了到达图像增强的目的，可对图像运用代数方法进行运算。 1.加法运算

是指两幅大小相同的图像对它们的像元的灰度值进行相加。 假设设加法运算后的图像为fa(x,y)，两幅图像分别为f1(x,y)和f2(x,y)，那么加法运算公式为:

fa(x,y)a[f1(x,y)f2(x,y)]

2.差值运算

差值运算是指两幅同样大小的图像对它们的灰度值进行相减。

假设差值运算后的图像为fb(x,y),两幅图像为f1(x,y)和f2(x,y)，那么差值运算公式为：

fb(x,y)a[f1(x,y)f2(x,y)b]

5

山东大学〔威海〕毕业论文系统总体方案

3.比值运算

比值运算是针对两幅大小相同的图像，对它们对应的像元进行除法运算。 假设比值运算后的图像为fc(x,y),两幅图像为f1(x,y)和f2(x,y)，那么比值运算公式为：

fc(x,y)Int[af1(x,y)]

f2(x,y)2.2图像校正

1.准备工作：对源图像包含的数据信息进行收集整理； 2.输入原始数字影像； 3.建立校正变换函数。 〔1〕多项式校正法； 〔2〕共线方程校正法。

2.3图像配准

〔1〕对图像灰度信息进行配准

该方法在图像灰度上对图像的相似程度进行统计，主要有互相关法、序贯相似度检测匹配法和交互信息。

对于一幅图像I和一个模板T，二维交叉相关函数定义为： C(u,v)xyT(x,y)I(xu,yu)[xyI2(xu,yv)]12

C(x,y)为图像上进行了相似程度为(u,v)的位移。

序贯相似检测法相对来说是更容易实现的方法，其准那么定义为：

E（u,v）xyT(x,y)T(I(xu,yv)I(u,v))

其中，

T和I分别为模板和图像窗口的均值。

、G(n)和联合熵G（m,n）定义 交互信息I由A、B的个体熵G（m)I（m,n）G(m)G(n)G(m,n)

In[p(m)]dm;H(n)p(n)In[p(n)]dn; 式中，G(m)p(m,n)6

山东大学〔威海〕毕业论文系统总体方案

In[p(m,n)]dmdn;p(m)和p〔n〕为随机变量M G(m,n)p(m,n)和N的边缘概率密度，p(m,n)为M和N的联合概率密度分布。

〔2〕对变换域进行图像配准

相位相关是重要的配准方法之一，在对图像运用傅里叶变换时。设

f1(x,y)和f2(x,y)两幅图像，(x0,y0)是两幅图像的平移量，那么：

f2(x,y)f1(xx0,yy0)

而它们之间的傅里叶变换满足下式：

F2(u,v)exp(j2(ux0vy0))F1(u,v)

〔3〕基于特征的图像配准方法

1.特征提取，根据图像性质提取对配准有用的特征信息。 2.特征匹配，将两幅图像中提取的特征作对应。

3.图像转换，利用特征信息进行转换后获得目标图像。

7

山东大学〔威海〕毕业论文系统软件设计

第三章 像素级图像融合的方法综述

3.1加权平均图像融合方法

设有两幅图像分别为A和B，它们融合后的图像为F，那么：

F（x,y）A(x,y)B(x,y) (3-1)

式中，〔x,y〕为图像中某一像素的位置，和是权重系数，它们满足：

1。最简单的加权平融合方法就是采用平均权值〔0.5〕

3.2 HIS空间图像融合方法

在HIS中，对于HIS，它表示的是表色系统。由这三个分量构成的HIS模型可以准确表示彩色图像，I、H、S分别表示亮度、色调和饱和度，且互相另外一种系统是由R、G、B组成的空间。

以Landsat TM多光谱图像与全色Pan图像的融合为例，HIS空间图像融合步骤一般为：

1.对图像的RGB空间中的R、G、B变换，得到I、H、S三个分量；

2.再将亮度分量I按规那么融合，得到新的亮度分量Inew； 3.再将Inew、H、S反变换回RGB空间，完成融合过程。

3.3 主成分分析图像融合方法

主成分分析图像融合方法对图像作正交线性变换，实现图像的相关和降维。

对n个波段的多光谱图像进行PCA变换时，对应n个波段图像同一位置处的

T像素灰度构成了一个n维矢量数据x（x1,x2,x3,xn），假设各波段图像大

小为MN，那么共有KMN个维矢量，这些矢量数据的协方差阵可计算为：

Cx向量使

1KxkxK1KTKmxm，其中，mxTx1Kxk。其中让CX的特征值和特征K1K8

山东大学〔威海〕毕业论文系统软件设计

1UTCXU0002000n，其中，12n为CX的n个特

征值，U的列向量为对应的特征向量。而主成分分量y可由x求得，即：

T，其中，y1 、y2分别是第一和第二主成yUTx(y1,y2,yn)分，以此类推。

3.4 伪彩色图像融合方法

使用伪彩色的意义在于人眼对色彩的分辨要比灰度敏感很多，而且可分辨的色彩种类也较灰度来说多很多。而对于人眼的该特征，通过某种彩色化处理将蕴含在各源图像中的灰度细节信息以彩色方式表征出来，可使人眼对图像有更丰富的感知。

9

山东大学〔威海〕毕业论文系统软件设计

第四章 基于像素级小波变换的图像融合方法概述

小波变换是法国工程师在1974年提出来的一门新兴理论，是一种新开展起来的数学工具，小波变换是在傅里叶变换的根底上建立起来的。图像的小波变换反映了在经过小波分解后各个频率段信号重新形成的图像。利用小波分解的方向性可获得人眼辨析度更高的图像。但小波基和分解层数的选取仍是分解过程中有待解决的问题。本章的主要工作就是通过实验的方法,得出最正确小波基函数和分解层数。。

4.1 小波变换理论

将一个根本的小波函数进行伸缩和平移变换可以得到对应小波函数，而小波变换是将信号投影到小波函数上，在将其分解后可得到一系列叠加在一起的小波函数

设G为理想状态下的低通滤波器，H为理想状态下的高通滤波器，用它们对源信号多分辨率分解，那么两个支路输出必为正交，且带宽减半而不会引起信息丧失。因此，可在一级滤波后参加降二采样之后用G和H对低频分量进行滤波，然后再降二采样，重复该过程就是对源信号进行了多分辨率分解，如下列图2所示：

成分解过程 图2 多分辨分析的滤波器组图像的小波变换：

这里运用到了Mallat快速算法对而为图像进行小波分解。按照二维Mallat算法在尺度j一1上有如下的分解公式：

cAjHmHncAj1

cHjGmHncAj1 〔4-3〕

cVjHmGncAj1 cDjGmGncAj1

10

山东大学〔威海〕毕业论文系统软件设计

相应的重构公式如下：

••••cAjHn•HmcAjHn•GmcHjGn•HmcVj1Gn•GmcDj 〔4-4〕

图像经过小波分解后可获得低频近似分量、水平的高频近似分量、

垂直的高频近似分量以及对角的高频分量,四个分量用LL、LH、HL、HH来表示,而分解后的框架如下列图所示，

架 图 二维数据分解的塔形框我们也称之为塔形框架。

4.2 基于小波变换的图像融合

频率域对于图像融合来说比空间域更为有效。将图像进行N层的小波分解,

可获得一个高频带和一个包含近似分量的低频带。小波分解也被称为小波金字塔分解，因为随着层数的增多而数据尺寸在变小，最后形成塔状结构。

〔1〕图像的小波分解 小波分解是对函数v（t）在伸缩和平移后形成的空间，对其投影后构成了对信号的多尺度分析。定义下面的符号：

Wj为{j，kj,kZ}所张成的闭包，即

WjSpanL2(2)(j,k|j,kZ)

Vj为{W1|lj,l,jZ} 〔4-5〕

VjWj2Wj1Wlj1

l11

山东大学〔威海〕毕业论文系统软件设计

2是由子空间Vj构成的多分辨率空间，Vj那么有如下性质 L（R）1.单调性：V1V0V1 〔4-6〕 2.伸缩性：f(t)Vjf(2t)Vj1 〔4-7〕 3.平移不变性： f(t)Vjf(tk)Vj,j,kZ 〔4-8〕

4.直和分解： Vj1VjWj 〔4-9〕5.Riesz基存在性：存在（t）V0,使得{(tk)kZ}是V0的Riesz基。

(2)基于小波变换的融合方法 小波变换的步骤为下：

① 对将图像作多尺度分解；

② 各个分解层通过图像特征信息获得图像的小波系数； ③ 变换,得到融合图像。

基于小波变换的图像融合过程如下列图所示：

图3 基于小波变换的融合过程

4.3 基于小波变换的图像融合性能分析

〔1〕对一个小波基按不同层数融合。

将两幅对多聚焦图像,使用同一小波基函数按照不同分解层数采用Matlab7.0编程进行仿真实验,实验结果如图4所示。

12

山东大学〔威海〕毕业论文系统软件设计

数融合结果 图4多聚焦图像不同分解层图像的熵、均值、标准差和空间分辨率的计算结果如表1所示：

表1多聚焦图像不同分解层数融合实验数据

将前视红外图像与微光夜视图像,使用同一小波基函数按照不同分解层数采用Matlab7.0编程进行仿真实验,实验结果如图5所示。

13

山东大学〔威海〕毕业论文系统软件设计

图5 前视红外图像与微光夜视图像不同分解层数融合结果 图像的熵、均值、标准差和空间分辨率的计算结果结果如表2所示： 表2 前视红外图像与微光夜视图像不同分解层数融合实验结果

将两幅遥感图像,使用同一小波基函数按照不同分解层数采用Matlab7.O编程进行仿真实验,实验结果如图6所示。

14

山东大学〔威海〕毕业论文系统软件设计

图6 遥感图像不同分解层数融合结果

图像的熵、均值、标准差和空间分辨率的计算结果结果如表3所示：

通过上述三组实验的结果分析可知,对于按照同一小波基进行融合的图像,空间分辨率会随着层数的增加而增大,说明了图像的清晰度跟层数增加成正比;而融合图像的熵在4-6层时到达最大值。 〔2〕不同小波基按同一层数融合

同一实验环境下,分别用harr、db、sym、coif等函数在小波分解后进行融合。

多聚焦图像的融合结果如图7所示。

15

山东大学〔威海〕毕业论文系统软件设计

融合结果 图7 多聚焦图像不同小波基图像的熵、均值、标准差和空间分辨率计算结果如表4所示：

融合 表4 多聚焦图像不同小波基16

山东大学〔威海〕毕业论文系统软件设计

遥感图像的融合结果如图8所示：

图8 遥感图像不同小波基融合结果

图像的熵、均值、标准差和空间分辨率计算结果如表5所示：

17

山东大学〔威海〕毕业论文系统软件设计

试验结果说明:对遥感图像来说,融合后图像的熵值、均值、标准差以及分辨率总体变化不大。

18

山东大学〔威海〕毕业论文

第五章 像素级图像融合方法的研究总结与展望

图像融合是数据融合的一个重要分支，它涉及到数学、计算机、军事、地理资源勘探等方面。而图像那么数据的一种表达形式。

本文的研究重点那么是像素级图像融合的方法及性能评价。其中包括了图像融合的概念、意义、开展历史和前景、图像融合的目的和意义，图像的小波变换、基于小波变换的图像融合方法和算法分析。但其中仍存在较多问题。主要有：

(1) 如何为多样的图像信息定义融合算法的客观标准； (2) 如何将图像融合技术更多地运用到实际应用中。 (3) 静态图像对于实时性的要求,缩小了应用范围。 (4) 如何解决实现图像融合算法硬件较少的问题。

总而言之，图像融合是一个新兴的、多学科交叉的研究领域, ,具有重大的理论和实际研究价值。而本文那么是对像素级图像融合做了比拟深入的研究，对于其中有待解决的问题仍需我们花费更多精力时间。

19

山东大学〔威海〕毕业论文封页

参考文献

[1]敬忠良，肖刚，李振华. 图像融合-理论与应用.[M]高等教育出版社，2007， 16-30

[2]才溪.多尺度图像融合理论和方法.[M]电子工业出版社，2021.1.1. 13-20 [3]刘卫光.图像信息融合与识别.[M]电子工业出版社，2021.7. 84-100 [4]郭雷.图像融合.[M]电子工业出版社，2021. 20-40

[5]陈秀新，邢素霞. 图像/视频检索与图像融合.[M]机械工业出版社，2021.12. 141-161

[6]章毓晋.图像处理与分析.[M]清华大学出版社,1999.2. 43-58 [7]赵天昀. 像素级图像融合技术研究[J]. 成都理工大学，2004.5

[8]孟芳兵. 像素级图像融合方法研究及其性能分析.[J]武汉理工大学，2007.4.

20

山东大学〔威海〕毕业论文封页

谢 辞

经过将近两个月的准备，终于完成了我的毕业设计，从发现问题到自己查资料或是请教老师、同学，再到解决问题，这个过程现在想起来，心中倍感充实。在这期间老师和同学给予了我大量的帮助。在这里尤其要感谢我的指导老师孙甲冰老师，帮助我解决了毕业设计制作过程中的很多难题，并指引着我的设计方向。另外同样感谢传授给我们珍贵知识的各专业课老师以及热心帮助我的同学们，毕业设计的完成离不开你们的帮助。

展望未来，我们的母校正日益强大，今日我们以母校为荣，愿明天母校以我们为荣。我们会在各自的工作岗位上认真工作，不忘母校对我们的培养，时时刻刻铭记学无止境气有浩然的校训，为母校添彩。

最后，衷心感谢于百忙中来参加辩论和评阅论文的老师们，，你们辛苦了！

21