图像融合_lsflll的博客-爱代码爱编程
图像融合
部分自己复现的matlab代码在Github。
以下是简单的分类
空间域多尺度
基于拉普拉斯金字塔分解的图像融合
主要是对多源图像的拉普拉斯金字塔分层融合，然后重建。拉普拉斯金字塔本身作为各类多尺度算法的典型代表，在图像各个领域都有用到。在图像融合领域，可以作为一种多尺度融合算法的框架，继而对融合策略进行创新。可尝试用于各类图像的融合。
Image Fusion with Guided Filtering - 2013
一种双尺度下融合的典型代表。所谓双尺度是指对每个原图进行平滑滤波，可以得到一张平滑图，再用原图减去平滑图，可以得到一张细节图，在平滑图和细节图的双尺度下进行融合算法的创新。本文利用Saliency（显著性）来构建融合权重，并利用Guided Filter（导向滤波）优化权重，对多源图像加权融合，思想简单但是好用，效果也不错。适用于多焦距、多光谱、高动态等融合场景。
RGB-NIR Image Enhancement by Fusing Bilateral and Weighted Least Squares Filters - 2017
类似论文2，是一种双尺度下的融合。利用了双边滤波和最小二乘滤波来分离尺度，赚到YUV空间，只对Y层和NIR红外图融合，增强细节。作为一篇SCI郊区的论文，确实不难，创新理由是第一个结合BF和WLS滤波器来提取更多细节的方法。
An Improve Fusion Method For Infrared And Low-Light Level Visble Image - 2017
金字塔分解。
基于局部能量特征和拉普拉斯金字塔的图像融合
更为古老的方法，思想类似于【2】，效果也类似。局部能量特征在多尺度的图像融合问题上应用广泛。
Colouring the Near-Infrared - 2008
有很多近红外基础物理特性、光学特性的描述，做近红外图像处理的朋友值得一看，同时，搜这个一作作者，有许多近红外图像相关的论文。
Enhancing Photographs with Near Infrared Images - 2008
用到了Haar分解，双边滤波来提取高低频信息，在低频上进行基于梯度的直方图匹配，来增强可见光的整体对比度，可以提升原图的动态范围，挺好的思路。很多多尺度分解的论文在处理可见光红外融合时，往往抛弃红外的低频信息，实际上如果可以利用起来，对图像质量的增强效果还是很明显的，尤其在可见光拍摄环境较差的时候。
Visible and NIR image fusion using weight-map-guided Laplacian–Gaussian pyramid for improving scene visibility - 2017
Image Dehazing Method by Fusing Weighted Near-Infrared Image - 2018
会议论文，去雾应用。结合了计算视觉中经典的雾模型，分解高低频，制定对应的融合权重。
Adaptive near-infrared and visible fusion for fast image enhancement - 2019
VIS-NIR融合：典型双尺度分解的论文，用的很基础的高斯滤波器分解高低频。创新是主要定义了一个LC函数，来衡量图像的局部对比度，然后计算融合权重。然后这个函数估计的权重并不精细，容易在边缘产生伪影光晕等，作者给了matlab源码。
优化
Spectral Edge Image Fusion: Theory and Applications - 2014
在梯度域优化，重建得到融合图像。
POP image fusion - derivative domain image fusion without reintegration - 2015
梯度域融合，是上面论文是同一拨人。
变换域
主要为各类频域多尺度变换、稀疏表示、低秩、主成分分析等。
深度学习
Multi-focus image fusion with a deep convolutional neural network - 2017
多焦距图像融合，用传统CNN思路对聚焦区域像素点分类，对两张输入图像对应像素点分类为聚焦点和非聚焦点，主要用的就是。经过CNN网络得到score map后处理再得到fusion map，中间用到了引导滤波来约束map，这个思想和Image Fusion with Guided Filtering - 2013类似。
FusionGAN: A generative adversarial network for infrared and visible image fusion - 2019
FusionGAN，利用生成对抗的思想，一个网络进行融合任务，一个网络来判断融合结果好不好。融合网络是端到端的图像融合。融合网络的损失函数设计本就有融合效果，鉴别网络感觉一定程度上是锦上添花的效果，GAN的思想在这里感觉体现的没有纯粹的图像生成任务来的强烈，毕竟融合任务里只需要指导你的融合权重而已，而非从0开始，而且GAN网络本身就比较难收敛。总之，从结果上看还是有点效果的，见仁见智了。网络结构本身比较简单，具体可以看文章里，有作者给的TensorFlow源码，和我复现的pytorch源码，可作参考学习。
Rethinking the Image Fusion: A Fast Unified Image Fusion Network based on Proportional Maintenance of Gradient and Intensity - 2020
PMGI（Proportional Maintenance of Gradient and Intensity），端到端的通用融合任务网络结构，包括多模态、多聚焦、多曝光、医疗图像、遥感图像的融合。主要是以下几个点：
- 一个网络内部设计了两条路径，用于像素强度的融合和梯度的融合，思想上对应低频和细节的融合（虽然是这么设计的，但是我没看出来体现出这点的，这点主要还是体现在损失函数的设计上）
- 两条路径上有信息传递模块，可以共享中间特征，达到预融合效果（同上疑惑，无法感受到这两条路径的区别）
- DenseNet思想，特征重用，前面层的输出是后面所有层输入的一部分
