基于双流融合网络的遥感图像融合 论文笔记
Remote sensing image fusion based on two-stream fusion network
期刊：information fusion
年份：2020
作者：Xiangyu Liua, Qingjie Liua,b,∗, Yunhong Wang
摘要： 受卷积神经网络(CNN)启发，本文提出了一种双流融合网络(TFNet)来解决这一问题。 与许多以前基于CNN的方法不同，这些方法认为泛锐化是一个超分辨率问题，并通过将堆叠的PAN和MS映射到目标高分辨率MSIM来执行泛锐化。 提出的TFNet旨在将PAN和MS图像融合在特征域中，并从融合的特征中重建泛锐化图像。TFNet主要由三部分组成。第一部分由两个分别从PAN和MS图像中提取特征的网络组成。随后的网络将它们融合在一起，形成紧凑的特征，同时表示PAN和MS图像的空间和光谱信息。最后，通过图像重建网络从融合的特征中提取出所需要的高空间分辨率的MS图像。在Quickbird和GaoFen-1图像上的实验表明，所提出的TFNet能够有效地融合PAN和MS图像。
双流融合网络
人们普遍认为PAN和MS图像包含不同的信息。 PAN图像是几何细节（空间）信息的载体，而MS图像保留光谱信息。 目标 潘森宁将空间细节和光谱信息结合起来，生成一幅新的高分辨率MS图像。 然而，很难确定究竟是什么空间和光谱信息 是和如何独立地表示它们。 以往的研究，如ARSIS概念方法[9，12]，认为空间信息在于PAN图像的高频率。 CS方法[50，51]在MS图像上应用线性变换来获得包含退化空间信息的分量，然后用PAN图像替换，注入空间信息信息。 最近提出的基于CNN的方法要么认为泛锐化是一个超分辨率问题[24]，要么使用CNN作为提取空间细节的工具( 残差)[36，37]。 这些方法可以产生具有良好视觉质量的结果，但仍然受到光谱畸变或伪影的影响。 这主要是因为几乎不可能分别提取特征空间或光谱信息。 虽然PAN被认为是空间信息的载体，但里面也可能存在光谱信息。考虑到CNN是一个非常强大的工具来表示输入的层次特征，并且图像可以从这些特征完美地重建[52，53]， 我们提议在特征域中融合PAN和MS图像，然后从融合的特征中恢复PAN和MS图像。 因为我们想结合PAN和MS的优点，泛锐化图像的特征应该包含PAN和MS的信息。
假设
是一个特征提取器，使得提取的特征是输入图像的完整表示，这意味着可以是从（）中恢复而不丢失任何信息。 大多数手工制作的功能，如HOG、LBP和SIFT都不能满足这一需求。 稀疏编码，它表示具有学习过完备字典的图像，可以作为一个很好的特征提取器。 利用稀疏表示技术[15，16]开发了泛锐化方法。 然而，融合仍然在图像域中进行。 目前还不清楚如何融合稀疏域中两幅图像的特征。
CNN为我们同时完成特征提取和融合提供了一个很好的解决方案。 基于上述讨论，首先我们使用CNN作为特征提取器来表示PAN和MS图像。为了方便起见，在下面我们使用和分别表示MS和PAN的CNN。 对于代表PAN和MS的和两幅图像，CNN提取的特征可以写出来 作为和，上标l表示从第层提取特征。 在获得PAN和MS的特性后，随后的步骤将它们融合在一起。 由于CNNs提取的特征以信道特征映射的形式存在，因此融合的一种可能方法是在两个特征映射上应用池操作，例如最大池或平均池。 然而，这将丢失信息。 或者，我们认为 通过简单地将它们连接在一起来实现融合策略，
其中是融合的特征，“⊕”意味着级联操作。 然后将连接的特征输入到融合网络中，形成更紧凑的表示，然后进行重建网络恢复泛锐化图像。 这些阶段可以集成到一个网络中，并以端到端的方式进行训练。 由于所提出的网络接受两个输入，因此具有双流体系结构，我们将其称为双流融合网络(TFNet2)。 一个示例结果如图 1.所示。
TFNet
在这一部分中，我们给出了我们的TFNet的详细结构，它具有类似编码器的体系结构，由三个部分组成，包括特征提取、特征融合和图像重建。 前两部分的作用就像编码器从输入的PAN和MS图像中提取和编码特征。 最后部分对融合特征进行解码，以重建所需的高分辨率MS图像。 所提出的TFNet的原理图如图 2所示。
拟议TFNet的示意图。 FEN是特征提取网络的简称. MS图像上采样到相同大小的PAN，然后输入MSFEN。
1. 特征提取网络
我们使用两个子网络ΦP和ΦM分别从PAN和MS图像中提取特征。 这两个子网具有相似的结构，但权重不同。 一个子网需要一个4波段的MSI 图片作为输入，另一个以单个波段PAN图像作为输入。 每个特征提取子网络由两个连续的卷积层组成，然后是一个参数校正线性单元(PRELU)[54]和一个下采样层。 大多数CNN架构使用最大或平均池来获得尺度和旋转不变特征，但细节信息更重要。 在泛锐化中，因此在整个网络中，我们使用步长为2的卷积核进行下采样，而不是简单的池策略。
2. 融合网络
经过特征提取，我们有两卷特征映射和分别表示PAN和MS图像。 这两个特征映射明确捕获互补信息 PAN和MS的合成。 考虑到所需的高分辨率MS图像在空间和光谱领域都应该具有高分辨率，它的特征必须捕获空间和光谱信息。 为此，两个特征映射被连接在一起，就像在等式（1）中描述。 在此之后，应用具有三个卷积层的融合网络将级联的特征映射编码成更紧凑的表示。 融合网络的终结 是一个[w/4，h/4，256]3张量，它编码两个输入图像的空间和光谱信息。
3. 图像重建网络
所提出的TFNet的最后一阶段是从融合的特征中恢复所需的高分辨率MS图像。 编码的特征映射只占输入宽度和高度比例的1/4×1/4，. 特征映射的空间分辨率应逐步向上采样，以满足泛锐化图像的分辨率。 人们可以使用传统的方法，如线性插值到向上 充分的特征映射，然而可学习的方式是更好的[55]。 我们使用向后步长卷积层（也称为转置卷积层）来重建高分辨率MS图像， 并将每两层的特征映射作为对称结构向编码器采样(如特征提取和融合网络)
因为高层特征映射编码图像的语义和抽象信息[53]，很难从高层特征中恢复细节纹理。 为了恢复精细而真实的细节，利用所有级别 更好地的表示。 然而，这将给计算带来沉重的负担。 受U-Net[56]中使用的“裁剪和复制”操作的启发，对于相应的“扩展路径”，该操作复制“契约”中的特性 ，我们在网络的编码器和解码器之间添加跳过连接，具体地说，在每个上采样步骤之后，如图4所示，将编码器中的特征图复制到解码器并与相应的特征图连接，以注入在下采样过程中丢失的更多细节。 在实验中，我们将讨论通过将较低的特性添加到更高的级别来提高性能的程度。 最后一层输出所需的高分辨率4波段MS图像.. 4(a)显示了TFNet的详细结构。
4. 用残差块改进
最近提出的剩余学习框架[46，57]推进了许多视觉任务[37，48]。在这项工作中，我们还试图利用剩余CNN的力量，通过用剩余单元替换普通的CNN单元来进一步提高我们的TFNet的性能。 每个剩余单元可以作为一般形式加以说明：
其中和是残余单元的输入和输出，是残差函数，是激活函数，是身份映射函数，典型的是。 图3显示了当建造 TFNet(Res TFNet)时一个普通单元和残差单元之间的差异，每两个连续的卷积层被一个残差单元所取代。 在每个连接层之后立即添加一个额外的1×1卷积层，以减少这些特征映射的大小。 因此，ResTFNet比TFNet有两个更多的卷积层。 ResTFNet的详细架构如图4所示。 4(b)和表1说明了拟议的TFNet及其剩余变化Res TFNet的参数。
5. 损失函数
通过最小化泛锐化图像与相应的地面真实图像之间的损失，对TFNet的参数Θ进行了优化。 除了网络体系结构外，损失函数是另一个重要因素影响重建图像质量的重要因素。 以前的大多数恢复任务使用
基于双流融合网络的遥感图像融合 论文笔记相关推荐
- 【TarDAL红外与可见光图像融合论文笔记】
Target-aware Dual Adversarial Learning and a Multi-scenario Multi-Modality Benchmark to Fuse Infrare ...
- [图像融合-论文笔记]A multiscale residual pyramid attention network for medical image fusion一种用于医学图像融合的多尺度残差金
A multiscale residual pyramid attention network for medical image fusion 一种用于医学图像融合的多尺度残差金字塔注意网络 作者: ...
- 【图像融合-论文笔记】Fusion of multi-exposure images多曝光图像的融合
Fusion of multi-exposure images 多曝光图像的融合 作者:Ardeshir Goshtasby 期刊:图像和视觉计算(2005) 摘要 介绍一种将静止摄像机拍摄的静态场景 ...
- 【Matlab图像融合】小波变换遥感图像融合【含GUI源码 744期】
一.代码运行视频(哔哩哔哩) [Matlab图像融合]小波变换遥感图像融合[含GUI源码 744期] 二.matlab版本及参考文献 1 matlab版本 2014a 2 参考文献 [1] 包子阳,余 ...
- 基于深度学习的红外和可见光图像融合论文及代码整理
基于深度学习的红外和可见光图像融合论文及代码整理 首先附上近期整理基于深度学习的图像融合论文的思维导图 本篇博客主要整理基于深度学习的红外和可见光图像融合的论文和代码 图像融合系列博客还有: 图像融合 ...
- 目标检测论文解读复现之十五：基于YOLOv5的光学遥感图像舰船 目标检测算法
前言 此前出了目标改进算法专栏,但是对于应用于什么场景,需要什么改进方法对应与自己的应用场景有效果,并且多少改进点能发什么水平的文章,为解决大家的困惑,此系列文章旨在给大家解读最新目标检测算法论文,帮 ...
- 图像融合论文及代码整理最全大合集
最全图像融合论文及代码整理 News [2022-07-29] 我们的综述论文<基于深度学习的图像融合方法综述>被<中国图象图形学报>正式接收![论文下载] Github项目地 ...
- 图像融合论文及代码网址整理总结（3）——题目中未加区分的图像融合算法
写在前面的话: 之前写过两篇博文,针对性地整理汇总了多聚焦图像融合和红外与可见光图像融合的算法.之所以这样分类,是基于论文的标题和内容中明确指出了所处理的图像类型. 而本篇博文主要整理那些论文标题中未 ...
- 【图像融合学习笔记004】图像融合论文及代码网址整理总结（3）——题目中未加区分的图像融合算法
写在前面的话: 之前写过两篇博文,针对性地整理汇总了多聚焦图像融合和红外与可见光图像融合的算法.之所以这样分类,是基于论文的标题和内容中明确指出了所处理的图像类型. 而本篇博文主要整理那些论文标题中未 ...
- grads 相关系数_基于小波变换的多聚焦图像融合算法
引用本文 孟强强, 杨桄, 童涛, 张俭峰. 基于小波变换的多聚焦图像融合算法[J]. 国土资源遥感, 2014,26(2): 38-42 MENG Qiangqiang, YANG Guang, T ...
最新文章
- mac os 系统密码正确的 但是进不了系统
- 关于js里的document.compatmode
- 十种常用编程语言特点
- C#中Socket通信用法实例详解
- 作者：鲍玉斌（1968-），男，博士，东北大学计算机科学系教授
- #ifndef#define#endif的用法
- JSP获取浏览者真实IP地址方法
- 【数据预测】基于matlab双向长短时记忆BiLSTM（多输入单输出）数据预测【含Matlab源码 1826期】
- fgetc 与 getc的区别
- 我用计算机写作文,教学设计：我用计算机写作文
- 微信小程序开发工具项目的基本组成结构
- java通过调用鼠标模拟自动添加微信好友
- ip地址—子网的计算
- 【arc075f】AtCoder Regular Contest 075 F - Mirrored
- 如何确定试管婴儿胚胎质量
- CH9101芯片应用—硬件设计指南
- dorado弹框方式
- warning C4819 的解决方法
- 【SAP】PP模块术语
- 往者不可谏，来者犹可追，记2020第二个十年年终总结