Infrared and Visible Image Fusion using a Deep Learning Framework解析

2024-06-17 02:11:40

摘要

提出的方法首先讲图像分解为基础部分和细节内容，基础部分加权平均融合，细节内容使用深度学习网络提取多层特征。然后使用l1范数和加权平均策略生成多个候选的融合的细节内容。然后使用最大选择策略生成融合的细节内容。最后，用基础部分和融合内容生成最终的融合图像。代码地址：https://github.com/hli1221/imagefusion deeplearning

1.引言

还是同样的配方，说一下过去的几去融合的常用方法，然后引出作者提出的方法。

作者的方法是用加权平均融合基础部分。细节内容是先用神经网络提取多层特征，然后对于每一层特征使用softmax操作获得权重图，然后可以得到一幅融合的细节内容。在多层特征上都用这个，就可以获得多个融合的细节内容，然后用最大选择策略就能选取一幅最好的融合细节内容，然后把细节与基础部分放一起就能重构最终的融合图。

2.深度学习框架的风格迁移

先讲了风格迁移从单张图单个风格到多张图单个风格再到多张图多种风格的转换。然后引出多层特征的概念，这里用到了VGG19的特征。

3.提出的融合方法

源图表示为 $I_{k}$ ，将源图分解为 $I_{k}^{b}$ 和 $I_{k}^{d}$ ，代表基础与细节部分。基础部分由以下优化问题获得：

分别表示水平和垂直的梯度操作。本文λ=5。

细节内容如下式：

本文提出的融合框架如图1：

A基础部分的融合

基础部分的融合如式：

论文中的 $\alpha _{1},\alpha _{2}$ 都为0.5。

B细节内容的融合

细节的融合如图2：

设 $\phi _{k}^{i,m}$ 表示第k张细节内容图被VGG19的第i层提取的特征，m表示特征图的通道数。

$\Phi _{i}$ 表示VGG网络的一个层，i为1到4，分别表示relu_1_1，relu_2_1，relu_3_1,relu_4_1。

$\phi _{k}^{i,1:M}\left ( x,y \right )$ 代表 $\phi _{k}^{i,m}$ 在位置 $\left ( x,y \right )$ 处的，它是M维向量。策略的流程如图3：

这个策略之气遇到过，直接看公式就知道怎么算了：

本文的r=1。然后

由于文中由多层特征，而每层特征的尺寸是不一样的，所以计算出来的 $W_{k}^{i}$ 的尺寸也不一样，所以要上采样到输入细节内容图的大小，变成 $\hat{W_{k}^{i}}$ ：

因为采取了四层特征，最终会形成四对

对于每对权重，初始融合图如下计算：

而最终融合图如下，对于式子的max操作，不知道是什么意思：

C重构

D提出方法的总结

1.分解为基础与细节部分

2.基础部分加权平均融合

3.细节部分多层融合策略融合

4.直接相加重构

Infrared and Visible Image Fusion using a Deep Learning Framework解析相关推荐

【读论文】DIVFusion: Darkness-free infrared and visible image fusion
[读论文]DIVFusion: Darkness-free infrared and visible image fusion 介绍网络结构 SIDNet 损失函数 TCEFNet GRM(梯度保持 ...
【读论文】Self-supervised feature adaption for infrared and visible image fusion
Self-supervised feature adaption for infrared and visible image fusion 介绍小知识常用的两类用于图像融合的神经网络架构红外融 ...
An infrared and visible image fusion algorithm based on ResNet‑152
An infrared and visible image fusion algorithm based on ResNet‑152 学习笔记文章日期2021.9 摘要: 经过红外线和可见光融合的图 ...
Infrared and visible image fusion using total variation model（采用全变差模型的红外与可见光图像的融合）
由于研究需要,在非专业学习的基础上对<Infrared and visible image fusion using total variation model>进行了翻译,有翻译不对之处 ...
2021.11.02--Estimating motorway trafﬁc states with data fusion and physics-informed deep learning
Estimating motorway trafﬁc states with data fusion and physics-informed deep learning 摘要交通状况估计是交通工程 ...
1.3读论文笔记：M. Raissi a等人的Physics-informed neural networks：A deep learning framework for solving forw..
Physics-informed neural networks: A deep learning framework for solving forward and inverse problems ...
【论文导读】- E-LSTM-D: A Deep Learning Framework for Dynamic Network Link Prediction（动态网络链接预测）
文章目录论文信息摘要论文贡献问题定义动态网络动态网络链接预测 E-LSTM-D 框架 Encoder–Decoder结构 1. 编码器(Encoder) 2. 解码器(Decoder) 堆 ...
Spatio-Temporal Graph Convolutional Networks: A Deep Learning Framework for Traffic
IJCAI 2018,大体思路:使用Kipf & Welling 2017的近似谱图卷积得到的图卷积作为空间上的卷积操作,时间上使用一维卷积对所有顶点进行卷积,两者交替进行,组成了时空卷积块, ...
DeepGBM: A Deep Learning Framework Distilled by GBDT for Online Prediction Tasks
DeepGBM: A Deep Learning Framework Distilled by GBDT for Online Prediction Tasks 论文链接:https://dl.acm ...

最新文章

热门文章