摘 要：Contourle变换是一种新的图像多尺度，多方向的表示方法，适合表达具有丰富细节信息及方向信息的图像。它的高频方向子带，捕获了许多传感器图像的显著特征。为了实现红外与可见光图像的融合，采用一种基于Contourlet变换的融合算法，对不同的融合规则对低频子带和多方向的高频子带系数进行融合。对比实验结果表明，在此提出的方法可以获得较好的融合效果，优于基于小波变换的图像融合算法。
关键词：图像融合； Contourlet变换； 红外； 可见光
中图分类号：TN919-34 文献标识码：A 文章编号：1004-373X(2011)24-0093-03


Application of Contourlet Transform in Visible and Iinfrared Images Fusion

LI Zhe, ZHAO Hao

(Nanjing University of Aeronautics and Astronautics, Nanjing 210016, China)

Abstract： The Contourlet transform is a new image multiscale and multi-direction representation suitable for expressing the images with rich detail information and direction information. An infrared and visible image fusion algorithm based on the Contourlet transform is adopted to fuse the low frequency subband coefficients and the high frequency subband coefficients in all directions by suitable fusion rules. The fusion images are reconstructed by using the fusion coefficients. The experimental results show that this algorithm proposed above can get better fusion results than that of wavelet tranform image fusion.
Keywords： image fusion; Contourlet transform; infrared image; visible image

收稿日期：2011-08-07
基金项目：国家大学生创新性实验计划基金资助项目
（101028713）
0 引 言
图像融合是指将来自不同传感器的同一目标或同一场景的多幅图像进行综合，得到更为准确、可靠、全面的图像描述的处理过程，属于信息融合范畴。图像融合在军事应用、遥感图像、雷达图像、机器视觉上得到了广泛的应用。
图像融合算法主要分为基于空间域的图像融合算法，比如加权平均法、主成份分析法、基于变换域的图像融合算法，比如基于多尺度分解的图像融合算法。在多尺度分解方法中，小波变换因其多分辨率和时频局部化特性，在图像融合中得到了广泛的应用，是目前一种主流的图像融合方法。但是小波无法识别自然图像中固有的线奇异和面奇异，同时其捕获的方向性信息也受到限制［1］，因此融合后的图像中容易产生细节成分模糊现象。由于Contourlet变换在方向性和各向异性上要优于小波变换，更好地利用了图像的几何特性。以红外和彩色可见光图像为研究对象,本文提出一种基于Contourlet 变换的多源图像融合算法。
1 二维图像的Contourlet变换
Contourlet变换是一种多尺度、多方向的变换方法，它直接提出于离散域，之后才被推广到连续域并得到其性质分析。Contourlet变换的基本思想是：首先用拉普拉斯金字塔分解(LP)得到边缘的孤立断点，再使用二维方向滤波器组将方向一致的断点连接成线，形成基本的轮廓段，因此被称为Contourlet变换［2］。
Contourlet分解包括尺度分解和方向子带分解两部分。其中，尺度分解是由LP变换完成的，它将图像分解到多个尺度上［2］。经过LP变换，输入图像AN被分解成J - N个带通图像Bj(j = N + 1 ,N + 2 ,…,J)和低通图像AJ，也就是说，通过尺度j的LP变换，可将图像Aj-1分解成较粗的图像Aj和细节图像Bj,每个带通图像Bj通过lj层二维方向滤波器组可进一步分解成2lj个带通方向图像 Cljjk(0,1,…,2lj－1)，经过这样反复的迭代过程,最后将图像AL分解成低通图像AJ和一系列带通方向图像Cljjk。与临界采样的小波变换相比，LP变换的缺点是过采样，其冗余度是4/3。但由于LP分解时只对低频进行下采样，且只产生一个带通图像，所以避免了混频现象。由LP变换得到的各个尺度高频通过二维方向滤波器组进行频域方向分割，分解得到多个方向子带。由上可知，

Contourlet变换是LP和二维方向滤波器组结合形成的双层滤波器组结构。
Contourlet变换可以稀疏地表示图像，即一幅图像经过该变换后只在极少的点上有数值较大的系数，这些点集中了图像的大部分信息和能量。同时，Contourlet变换在每个尺度上分解的方向子带数可以不同，即可以提供任意方向上的信息。
2 基于Contourlet变换的图像融合算法
本文以红外和彩色可见光图像为研究对象，提出一种基于Contourlet变换的图像融合算法。设A,B分别为两幅已配准的待融合红外与可见光图像，其融合步骤如下。首先对源图像A,B分别进行Contourlet变换，得到低频子带图像aFJ，aFJ和一系列的高频子带图像dAj,k，dBj,k，其中J为分解层数，dAj,k和dBj,k表示图像第j(1≤j≤J)层第k个方向的高频子带系数。然后将子带系数aAJ，aBJ，dAj,k，dBj,k， 根据一定的融合准则得到融合系数aFJ，aFJ。最后融合系数经过Contourlet重构，得到最终的融合图像。
融合规则的确定很重要，好的融合规则可以使融合质量大大提高，而不恰当的融合规则也会给融合图像的质量带来不好的影响。Contourlet变换可以得到低频子带系数和高频子带系数，对它们采用不同的融合规则。对于低频子带系数，采用加权平均的融合规则，即：QW(A,B,F)=∑ω∈Ωc(ω)(ρA(ω)Q0(A,F|ω))
（1） 对于高频子带系数，采用区域能量最大准则，区域能量定义为： EXj,k=∑Φ(m,n)(dXj,k)2
（2）式中X=A,B是所选定的区域，于是可得融合后的高频子带系数：dFj,k=dAj,k, EAj,k>EBj,k
dBj,k, EBj,k>EAj,k
（3）3 融合效果及评价
3.1 融合实验结果
本文基于Matlab R2009平台，对已配准的红外和可见光图像进行融合，分别采用基于小波变换的融合算法和基于Contourlet变换的融合算法。为方便对比，这两种方法采用同样的融合规则。其中图1和图2分别为红外源图像和可见光源图像。图3是基于小波变换的图像融合算法得到的融合结果，图4是基于Contourlet变换的图像融合算法得到的融合结果。

3.2 融合质量评价
对图像融合的质量的评价主要分为2类，一类是主观评价法，即观察者根据自己的视觉效果对融合结果进行定性评价；另一种是客观评价法，即利用定量指标对图像融合结果进行定量分析。由上图可以看出，基于Contourlet变换的图像融合结果含有更丰富的细节信息，而且比基于小波变换的图像融合结果拥有更接近可见光的自然色彩，易于人眼识别。
为了定量评价不同融合方法对红外和可见光图像融合的性能，本文采用了4种评价参数。第1种是图像的信息熵；第2种是图像的互信息［3］；第3种是融合结果的加权融合质量指标；第4种是融合结果的边缘融合质量指标。融合结果的加权融合质量指标定义为：QW(A,B,F)=∑ω∈Ωc(ω)(ρA(ω)Q0(A,F|ω))
（4）
c(ω)=C(ω)/［∑ω∈ΩC(ω')］
（5）
C(ω)=max(η(A|ω)+η(B|ω))
（6）
ρA(ω)=η(A|ω)/(η(A|ω)+η(B|ω))
（7）式中：η(A|ω)为图像A在窗口ω内的方差或其他显著特征；Ω是所有窗口的总和；Q0为总体图像质量指标［4］。融合结果的边缘融合质量指标定义为:Qedge(A,B,F)=Qw(A,B,F)1－α×Qw(A′,B′,F′)α
(8)式中A′,B′,F′分别是源图像A，B和融合图像F的边缘图像。加权融合质量指标和边缘融合质量指标是2个综合人类视觉特性的客观评价指标，加权融合质量指标衡量了融合图像包含源图像特征信息的多少；在加权融合质量指标基础上，边缘融合质量指标更着重考虑了人眼对图像边缘信息的敏感性，二指标的值域范围均为［- 1,1］， 越接近1表示融合图像的质量越好。
由表1可知，基于Contourlet变换得到的融合性能指标要优于基于小波变换得到的融合性能指标。由边缘融合质量和加权融合质量指标可知，基于Contourlet变换的融合结果不仅具备良好的多分辨率性和局部性，而且具有良好的方向性，能够有效的处理曲线奇异性。因此，基于Contourlet变换的融合算法得到了更丰富的特征信息，具有较高的边缘保持能力。

4 结 语
本文提出了一种基于Contourlet变换红外和可见光图像的图像融合算法，该融合方法的性能明显超过常用的小波变换融合算

法法，得到更为优良的融合结果。由于Contourlet变换的方向性和各向异性要优于小波变换，因此Contourlet变换在图像融合乃至整个图像处理领域应该具有更好的应用前景。但是由于其变换过程中的下采样操作，Contourlet变换不具备平移不变性，信号频谱有可能产生一定的混叠现象［5］。因此Contourlet变换在应用面还有待进一步的扩展，本文只是将其引入到红外与可见光图像融合当中，该方法在 SAR图像融合也有广泛的应用前景。

参 考 文 献
［1］ STARCK JL, CANDES E, DONOHO D L. The curvelets transform for image denoising [J ]. IEEE Transactions on Signal Processing, 2002, 11 (6): 670-684.
［2］ DO M N, VETTERLI M. The Contourlet transform: an efficient directional multiresolution image representation [J ]. IEEE Transactions on Image Processing, 2005, 14 (12): 2091-2106.
［3］ HOSSNY M, NAHAVANDI S, CREIGHTON D. Comments on \measure for performance of image fusion\[J ]. Electronics Letters, 2008, 44 (18): 1066-1067.
［4］ PIELLA G, HEIJMANS H. A new quality metric for image fusion [C ]// Proceedings of IEEE International Conference on Image Processing. Barcelona, Spain: IEEE, 2003: 173-176.
［5］ DACUNHA A L, ZHOU J, DO M N. The nonsubsampled contourlet transform: theory, design and applications [J ]. IEEE Trans on Image Proc, 2006, 15 (10): 3089-3101.
［6］ 玉振明,高飞.基于金字塔方法的图像融合原理及性能评价 [J ].计算机应用研究,2004(10):128-130.
［7］ TROPP J, GILBERt A, STRAUSS M. Algorithms for simultaneous sparse approximation part I: greedy pursuit [J ]. J. Signal Processing, Special Issue on Sparse Approximations in Signal and Image Processing, 2006, 86: 572-588.
［8］ LI Xing-xiu, WEI Zhi-hui, XIAO Liang, et al. Compresses sensing image reconstruction based on morphological component analysis [C ]// Proceedings of IEEE 16th International Conf. on Image Processing. Cairo: IEEE, 2009: 2129-2132.
［9］ 闫莉萍,刘宝生,周东华.一种新的图像融合及性能评价方法［J］.系统工程与电子技术,2007,29(4):509-513.
［10］ 周锐锐,陈振华,毕笃彦.一种基于局部能量的图像融合方法［J］.中国体视学与图像分析,2006,11(3):226-229.
作者简介: 李 ? 女，1989年出生,陕西西安人，2011年毕业于南京航空航天大学信息工程专业。研究方向为电子信息工程。