摘要
将多尺度分解与稀疏表示相结合,提出了一种基于多形态学成分分析(MCA)的图像融合算法。采用基于联合稀疏表示(JSR)的方法融合卡通子图像中的冗余和互补信息,并利用基于方向特征的方法融合具有更多细节信息和噪声的纹理子图像。结果表明,提出的图像融合算法在主观视觉效果和客观评价指标上均优于先进的图像融合算法。
单个传感器获取到的图像不能完整、准确地描述目标场景。图像融合作为一种有效的图像处理方法,可以将多源传感器采集到的关于同一场景的互补信息进行融合,可以更加准确、可靠地描述场景信息,被广泛应用于医疗诊断、计算机视觉和军事侦察等领
图像融
近年来,基于深度学习的图像处理方法在图像融合领域得到了广泛应
随着小波及其衍生物的发
近年来,压缩感知技术和稀疏表示理论快速发展,基于稀疏表示的图像融合方法越来越受到关注,如基于稀疏表示的高光谱和多光谱图像融
不同传感器的成像机理不同,同一传感器的成像条件也不同,因此传感器获取的图像不仅包含冗余信息,还包含互补信息。现有的图像融合方法大多忽略了信息之间的互补和冗余关系,在对源图像进行融合时没有进行区分,导致融合结果不完善。此外,直接对源图像进行处理,将增加冗余信息处理的计算量。因此,提出了一种基于多形态学成分分析的图像融合方法,不仅保留了多尺度变换提取特征信息的能力并避免了固定的正交基函数,还可以更好地应用于随机多样的多模态图像融合。
根据形态学结构,形态学成分分
(1) |
式中:和分别表示纹理子图像和卡通子图像对应的冗余字典和稀疏系数。只能由稀疏表示,不能由稀疏表示;只能由稀疏表示,不能由稀疏表示。相关的稀疏模型可以表示为
(2) |
式中:表示惩罚因子。
以上模型是非凸的,对其求解存在一定的困难,而且随着字典中原子数的增长其求解复杂度也呈指数增长。基追踪(BP)算法作为一种松弛优化算法,将范数转化为其他范数,从而非凸优化问题被转化为一个可解的优化问题。因此,将范数引入此优化模型,得到以下模型:
(3) |
基于多形态学成分分析的图像融合算法如

图1 基于多形态学成分分析的图像融合
Fig.1 Image fusion based on multi-morphological component analysis
图像融合的目的是充分利用源图像信息之间的互补性,解决冗余信息之间的矛盾并增加源图像的可解释性和清晰度,为原始场景提供更全面、可靠、准确的描述。因此,图像可以被分解为冗余分量和互补分量[
(4) |
式中:和分别表示冗余分量和互补分量各自对应的冗余字典和稀疏系数。当源图像的数量为2的时候,
(5) |
式中:下标1、2表示源图像的序列号;和分别表示源图像1、2各自对应的互补字典和稀疏系数;和分别表示第一幅源图像和第二幅源图像的第个图像块;表示每幅源图像中图像块的总数。基于

图2 基于联合稀疏表示的图像融合
Fig.2 Image fusion based on joint sparse representation
纹理子图像中包括更多的纹理信息、精细的细节和一些自然噪声。为了更有效地保留这些精细的纹理并抑制不必要的噪声,提出了一种基于方向特征(DF)的纹理子图像融合方法,通过比较源图像的图像块中4个不同方向(包括水平、垂直、左对角线和右对角线方向)的信息差来实现。如
(6) |
式中:表示源图像的序列号;表示图像块的方向。

图3 图像块的不同方向
Fig.3 Different directions of image blocks
通过对比源图像中同一方向特征的差,方向权重可以通过下式得到:
(7) |
式中:表示源图像的总数;T表示阈值。与周围的像素相比,噪声是不稀疏的并具有突变特性,导致非常大。因此,通过对比与阈值可以抑制或消除噪声。融合后的像素可以通过下式加权求和得到:
(8) |
式中:表示方向特征的总数。如
为了验证提出的图像融合算法的性能,将该算法与一些经典、先进的图像融合算法进行对比,包括基于向导滤波(GFF)的图像融合算
为了评价上述图像融合算法的性能,采用主观评价和客观评价相结合的方法。客观评价指
(9) |
(10) |
式中:分别表示源图像与融合图像的互信息;分别表示图像的熵;表示非线性相关矩阵的特征值;表示图像的强度等级,通常。和是基于图像特征的指标,分别测量转移的边缘信息和图像特征,表达式如下所示:
(11) |
(12) |
式中:分别表示在位置处源图像到融合图像的边缘信息保留值;表示对应的权重;分别表示相位一致性、最大矩和最小矩;表示系数,可以根据对应分量的重要性调整。是基于图像结构相似度的指标,根据结构相似度区别地对待冗余和互补区域,由下式得到:
(13) |
式中:表示图像的结构相似度;表示在窗口W中的局部权重。是基于人类视觉感知的指标,与人类的视觉感知一致,由下式得到:
(14) |
式中:表示全局质量图中的元素。这些指标的值越大,对应的融合图像越好。

图4 多聚焦源图像
Fig.4 Multi-focus source images

图5 融合图像和差图
Fig.5 Fused images and difference images
使用客观指标对Lytro数据集中的20对多聚焦源图像得到的融合图像进行客观评价,每个指标的客观值如
算法 | ||||||
---|---|---|---|---|---|---|
GFF | 1.140 7 | 0.840 9 | 0.735 6 | 0.902 3 | 0.977 7 | 0.803 5 |
SR | 1.110 5 | 0.838 7 | 0.725 2 | 0.894 8 | 0.976 7 | 0.789 5 |
DWT | 0.952 8 | 0.830 5 | 0.688 7 | 0.855 4 | 0.963 9 | 0.754 2 |
CNN | 1.173 9 | 0.842 9 | 0.736 0 | 0.901 6 | 0.977 1 | 0.810 9 |
MWGF | 1.136 4 | 0.840 8 | 0.725 2 | 0.899 3 | 0.976 8 | 0.804 7 |
MST(NSCT)‒SR | 1.007 2 | 0.832 9 | 0.712 6 | 0.888 7 | 0.974 5 | 0.777 0 |
NSST‒max | 0.940 1 | 0.829 4 | 0.698 0 | 0.878 1 | 0.970 1 | 0.762 7 |
GAN | 1.038 1 | 0.836 6 | 0.670 1 | 0.848 2 | 0.957 2 | 0.763 1 |
本算法 | 1.196 9 | 0.844 7 | 0.739 5 | 0.903 5 | 0.978 3 | 0.811 5 |
进行对比实验以验证所提算法的有效性和泛化能力,以红外和可见光图像为例。红外图像通过红外感知目标表面温度生成,如

图6 多模态源图像
Fig.6 Multi-modal source image

图7 红外和可见光融合图像与差图
Fig.7 Infrared and visible fused images and
difference images

图8 医学融合图像与差图
Fig.8 Medical fused images and difference images
由于一些算法如CNN和MWGF是针对多聚焦源图像提出的,因此由它们得到的融合图像的视觉效果较差。GAN算法是针对红外和可见光图像融合而设计的,得到的融合图像更适合人类视觉系统。对于如
表
算法 | ||||||
---|---|---|---|---|---|---|
GFF | 0.285 5 | 0.804 8 | 0.419 6 | 0.326 0 | 0.818 5 | 0.571 9 |
SR | 0.230 1 | 0.803 7 | 0.336 6 | 0.137 8 | 0.713 7 | 0.511 7 |
DWT | 0.206 8 | 0.803 0 | 0.374 9 | 0.190 3 | 0.735 5 | 0.523 4 |
CNN | 0.333 6 | 0.805 1 | 0.433 7 | 0.330 4 | 0.865 6 | 0.586 1 |
MWGF | 0.431 6 | 0.809 6 | 0.482 2 | 0.432 0 | 0.901 1 | 0.717 6 |
MST(NSCT)‒SR | 0.272 8 | 0.804 8 | 0.423 4 | 0.260 7 | 0.809 7 | 0.641 3 |
NSST‒max | 0.212 8 | 0.803 2 | 0.396 2 | 0.217 7 | 0.755 7 | 0.563 4 |
GAN | 0.424 1 | 0.802 3 | 0.398 9 | 0.413 7 | 0.878 2 | 0.691 1 |
本算法 | 0.526 5 | 0.813 6 | 0.490 9 | 0.461 8 | 0.915 3 | 0.745 4 |
算法 | ||||||
---|---|---|---|---|---|---|
GFF | 0.510 9 | 0.807 3 | 0.474 9 | 0.420 8 | 0.683 6 | 0.339 5 |
SR | 0.532 2 | 0.808 0 | 0.469 6 | 0.390 5 | 0.709 3 | 0.351 6 |
DWT | 0.482 7 | 0.806 4 | 0.466 4 | 0.422 5 | 0.696 8 | 0.354 4 |
CNN | 0.694 8 | 0.803 1 | 0.119 0 | 0.340 1 | 0.841 5 | 0.500 6 |
MWGF | 0.456 3 | 0.804 5 | 0.332 0 | 0.418 6 | 0.645 8 | 0.489 4 |
MST(NSCT)‒SR | 0.413 2 | 0.805 1 | 0.437 1 | 0.384 4 | 0.652 5 | 0.370 3 |
NSST‒max | 0.466 9 | 0.806 4 | 0.459 3 | 0.417 7 | 0.688 9 | 0.353 1 |
GAN | 0.452 4 | 0.802 5 | 0.377 5 | 0.478 4 | 0.594 1 | 0.426 6 |
本算法 | 0.696 6 | 0.813 8 | 0.483 7 | 0.526 2 | 0.859 6 | 0.537 1 |
结合多尺度分解和形态学成分分析,提出了一种多形态学成分分析算法来实现图像融合。综合考虑源图像中同时存在的冗余和互补信息以及不同子图像的信息特征,还提出了一种基于联合稀疏表示和方向特征的融合规则。对单模态和多模态源图像的一系列对比结果表明,所提出的算法对于多样化的图像融合是有效的,可以实现更完整的信息转移并得到更适合人类视觉系统的融合图像。由于采用了包括形态学成分分析和联合稀疏表示的稀疏表示,相比传统的图像融合算法,需要大量的字典训练和稀疏编码计算,算法整体复杂度偏高,在一定程度上影响了算法的实时性。在未来的研究中,计划对字典获取方式和稀疏编码进行进一步的改进与优化。
作者贡献声明
马晓乐:论文初稿撰写,调试相关实验。
王志海:校核论文,参与论文的修改。
胡绍海:指导论文思路和框图,参与论文的修改。
参考文献
VIVONE G. Multispectral and hyperspectral image fusion in remote sensing: a survey[J]. Information Fusion, 2023, 89: 405. [百度学术]
LI J W, LIU J Y, ZHOU S H, et al. Infrared and visible image fusion based on residual dense network and gradient loss[J]. Infrared Physics & Technology, 2023, 128: 104486. [百度学术]
ZHANG H, XU H, TIAN X, et al. Image fusion meets deep learning: a survey and perspective[J]. Information Fusion, 2021, 76: 323. [百度学术]
PAJARES G, DE LA CRUZ J M. A wavelet-based image fusion tutorial[J]. Pattern Recognition, 2004, 37(9): 1855. [百度学术]
YANG B, LI S T. Pixel-level image fusion with simultaneous orthogonal matching pursuit[J]. Information Fusion, 2012, 13: 10. [百度学术]
GUO C X, FAN D D, JIANG Z X, et al. MDFN: mask deep fusion network for visible and infrared image fusion without reference ground-truth[J]. Expert Systems with Applications, 2023, 211: 118631. [百度学术]
LI W S, ZHANG Y, WANG G F, et al. DFENet: a dual-branch feature enhanced network integrating transformers and convolutional feature learning for multimodal medical image fusion[J]. Biomedical Signal Processing and Control, 2023, 80: 104402. [百度学术]
WANG Y C, XU S, LIU J M, et al. MFIF-GAN: a new generative adversarial network for multi-focus image fusion[J]. Signal Processing: Image Communication, 2021, 96: 116295. [百度学术]
LIU Y, CHEN X, PENG H, et al. Multi-focus image fusion with a deep convolutional neural network[J]. Information Fusion, 2017, 36: 191. [百度学术]
MA J Y, YU W, LIANG P W, et al. FusionGAN: a generative adversarial network for infrared and visible image fusion[J]. Information Fusion, 2019, 48: 11. [百度学术]
DONOHO D L. Compressed sensing[J]. IEEE Transactions on Information Theory, 2006, 52(4): 1289. [百度学术]
YAN H B, LI Z M. Infrared and visual image fusion based on multi-scale feature decomposition[J]. Optik, 2019, 203: 163900. [百度学术]
KONG W W, MIAO Q G, LEI Y. Multimodal sensor medical image fusion based on local difference in non-subsampled domain[J]. IEEE Transactions on Instrumentation and Measurement, 2019, 68(4): 938. [百度学术]
ARIF M, WANG G J. Fast curvelet transform through genetic algorithm for multimodal medical image fusion[J]. Soft Computing, 2020, 24(2): 1815. [百度学术]
WEI Q, BIOUCAS D J, DOBIGEON N, et al. Hyperspectral and multispectral image fusion based on a sparse representation[J]. IEEE Transactions on Geoscience & Remote Sensing, 2015, 53(7): 3658. [百度学术]
TAN J, ZHANG T P, ZHAO L C, et al. Multi-focus image fusion with geometrical sparse representation[J]. Signal Processing: Image Communication, 2021, 92: 116130. [百度学术]
JIANG Y, WANG M H. Image fusion with morphological component analysis[J]. Information Fusion, 2014, 18: 107. [百度学术]
LIU Y, CHEN X, WARD R K, et al. Medical image fusion via convolutional sparsity based morphological component analysis[J]. IEEE Signal Processing Letters, 2019, 26(3): 485. [百度学术]
LIU Z D, CHAI Y, YIN H P, et al. A novel multi-focus image fusion approach based on image decomposition[J]. Information Fusion, 2017, 35: 102. [百度学术]
ZHANG Q H, FU Y L, LI H F, et al. Dictionary learning method for joint sparse representation-based image fusion[J]. Optical Engineering, 2013, 52(5): 7006. [百度学术]
LI S T, KANG X D, HU J W. Image fusion with guided filtering[J]. IEEE Transactions on Image Processing, 2013, 22: 2864. [百度学术]
ZHU Z Q, YIN H P, CHAI Y, et al. A novel multi-modality image fusion method based on image decomposition and sparse representation[J]. Information Sciences, 2018, 432: 516. [百度学术]
ZHOU Z Q, LI S, WANG B. Multi-scale weighted gradient-based fusion for multi-focus images[J]. Information Fusion, 2014, 20: 60. [百度学术]
LIU Y, LIU S P, WANG Z F. A general framework for image fusion based on multi-scale transform and sparse representation[J]. Information Fusion, 2015, 24: 147. [百度学术]
YIN M, LIU W, ZHAO X, et al. A novel image fusion algorithm based on nonsubsampled shearlet transform[J]. Optik, 2014, 125: 2274. [百度学术]
LIU Z, BLASCH E, XUE Z Y, et al. Objective assessment of multiresolution image fusion algorithms for context enhancement in night vision: a comparative study[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 34: 94. [百度学术]