(分布式网络)基于残差网络的多光谱全色图像分布式融合框架

贡献：

①基于分布式框架(distributed framework)和residual learning，提出了一种鲁棒性强、泛化性能提高的RDFNet泛锐化模型。

②提出了一种新的三分支泛锐化结构，其中两个分支分别用于提取MS和PAN图像特征。其中最重要的是第三个分支，实现三通道的数据融合，将两个特征分支与前一层的融合结果逐层拼接，得到泛锐化图像。

问题：

只有高空间分辨率和低光谱分辨率的PAN（全色）图像和低空间分辨率和高光谱分辨率的MS（多光谱）图像才能得到高空间分辨率和高光谱分辨率(HRHM)的图像。然而，许多领域都需要利用高空间分辨率和高光谱分辨率(HRHM)的图像，甚至需要利用高时间分辨率的图像。

HRHM图像是利用高空间分辨率和低光谱分辨率图像以及高光谱分辨率和低空间分辨率(LRMS)图像的冗余和互补信息得到的。

pan-sharpening是遥感图像融合领域的一个研究热点。**pan-sharpening技术是充分利用低分辨率多光谱(LRMS)图像和全色(PAN)图像生成高分辨率多光谱(HRMS)图像。**但是传统的pan-sharpening技术存在频谱失真、振铃效应、分辨率低等问题。

introduction:

低分辨率多光谱(LRMS)图像

高分辨率多光谱(HRMS)图像

高空间分辨率和高光谱分辨率的图像(HRHM)

全色(PAN)图像

多光谱(MS)图像

评估指标：

评价融合结果主要采用以下客观质量指标，可分为全参考指标(full-reference indicator)和无参考指标(no-reference indicator)。

我们使用的全参考指标包括相关系数(CC)、均方根误差(RMSE)、结构相似度(SSI M)、谱角映射(SAM)、相对全球维度误差(Erreur Relative Globale adisionnelle de Synthése) (ERGAS)和通用图像质量指数(U IQI)。

我们使用的无参考指标由Dλ， Ds, QNR 组成。

泛锐化方法大致可以分为传统方法和基于深度学习的方法。传统的方法包括成分替代(CS)方法、多分辨率分析(MRA)方法、混合方法和基于模型的[4]方法。

①基于cs的方法将MS图像从一个投影空间转换为另一个投影空间，将空间结构从MS图像中分离出来，然后将分离出来的空间信息分量替换为高空间分辨率的图像，生成新的图像[4]。然后对生成的图像进行反变换，得到HRMS图像，如强度-色调-饱和度(IHS)[6]、广义IHS[7]、快速IHS[8]、自适应IHS[9]等。上述方法简单、快速。但存在频谱失真问题，融合质量相对较低;此外，该方法在处理大量遥感数据时效率低下。

②主成分分析(PCA)是一种将相关数据转换为不相关或相关性相对较低的数据，然后将原始的第一主成分图像替换为PAN图像的统计分析方法。主成分分析可以将问题从高维空间转换到低维空间，并且可以使用任意数量的波段，但容易造成频谱失真。使用Brovey变换(BT)[7]对三个波段进行归一化，然后将归一化后的结果与相应的权值数据相乘得到融合图像。

③Gram-Schmidt (GS)[1]泛锐化是PCA方法的扩展。避免了由于某些波段信息过于集中而导致的光谱响应范围不一致和新的高空间分辨率全色波段波长范围扩展。它能保持融合前后光谱信息的一致性。

……

分布式架构的优点：

不仅使用了传感器A的轨迹信息，还使用了传感器B的轨迹信息，在融合过程中，充分利用已知的先验条件，尽可能提高融合轨迹的精度。如图↓

residual network（残差网络）的优点：

残差网络的特点是容易优化，并且能够通过增加相当的深度来提高准确率。其内部的残差块使用了跳跃链接，这对解决梯度消失和梯度爆炸问题非常有效。

一般的residual block：

可以表示为：

如果使用了多层residual block则：

文中将Relu激活函数提前，进一步提高了residual block的性能：

Method and Overall structure:

利用分布式架构和残差模块的优点，提出了一种新的基于残差模块的三分支分布式图像融合框架RDFNet。

提出了一种新的三分支泛锐化结构，其中两个分支分别用于提取MS和PAN图像特征。其中最重要的是第三个分支，实现三通道的数据融合，将两个特征分支与前一层的融合结果逐层拼接，得到泛锐化图像。

对输入的MS和PAN图像融合大概有以下步骤：

①输入RDFNet的MS和PAN图像需要进行预处理。

②对原尺度MS和PAN图像进行下采样，分别记作DLMS和LPAN图像。具体如图↓

(根据MS和PAN图像的分辨率，确定比例因子。由于输入RDFNet的MS图像和PAN图像的大小必须保持一致，因此需要将DLMS图像插值到LPAN图像的大小。因此，原始的MS图像可以用作地面真值)

③将DULMS和LPAN图像送入RDFNet，原始的MS图像就是RDFNet的输出，如图

接着训练网络，将DULMS、LPAN和MS图像随机裁剪64 × 64子图像形成训练样本。通过调整网络的超参数和结构，经过充分的训练，得到最优网络。

接着对训练好的网络冻结参数，并分别在降分辨率(reduced-resolotion)MS和全分辨率(full-resolution)PAN图像上测试网络的性能。如图五和图六↓

④利用前面提到的全参考指标，对降低分辨率的泛锐图像与原始MS图像进行主观和定量的评价。即图五

利用前面中提到的无参考指标，对全分辨率、泛锐化图像进行主观和定量评价。即图六

RDFNet总框架如下：

细节details:

该融合结构包括三个分支:

MS特征提取、PAN特征提取和跨尺度融合。

MS features extraction, PAN features extraction and cross-scale fusion.

①MS features extraction:

MS0为LRMS图像，Hi表示作用在MSi-1上的residual module.

②PAN features extraction:

PAN0为高空间分辨率（high-spatial-resolution）PAN图像,

Gi表示作用在PANi-1上的residual module.

③cross-scale fusion:

Fui等于融合规则,它们分别是第i个特征提取层的MSi、PANi和第i - 1个融合层MSPi−1的不同尺度的融合结果。(即上一层的融合结果与本层的pan、ms图像进行融合)

结构如图：

第一个分支即左分支是MS图像的多尺度特征提取，利用REM1、REM2、REM3、REM4四个残差模块对MS图像进行处理，提取多尺度特征。REMi (i = 1、2、3、4)具体如下：

其中MSi−1为REMi模块的输入; MSi是REMi模块的输出;

h(MSi−1)表示跳越连接; *表示卷积操作; W'MSi-1为REMi模块卷积核，大小为1x1；

跳跃连接中卷积核个数分别为32、64、128、256。此操作用于增加维度和跨尺度传输信息。

F(MSi-1,WMSi-1)表示residual part。

WMSi−1为卷积核;卷积核的大小为3 × 3，residual part分别有32、64、128、256个卷积核。

第三个分支即右分支是PAN图像的多尺度特征提取，利用REP1、REP2、REP3和REP4四个残差模块对PAN图像进行处理，提取多尺度特征。REPi (i=1、2、3、4)具体如下：

其中PANi−1为REPi模块的输入;PANi是REPi模块的输出;

h(PANi−1)表示跳越连接; *表示卷积操作; W'Pi-1为REPi模块卷积核，大小为1 × 1;

跳跃连接中卷积核个数分别为32、64、128、256。此操作用于增加维度和跨尺度传输信。

F(PANi-1,WPi-1)表示residual part。

WPi−1为卷积核;卷积核的大小为3 × 3，residual part分别有32、64、128、256个卷积核。

第二个分支用于融合，由FMP1、FMP2、FMP3、FMP4、FMP5模块组成，FMP5模块是最后一个卷积层。实现了两个分支的多尺度MS图像、PAN图像和前一层融合结果的融合。

(为了尽可能保留MS图像的光谱信息和PAN图像的空间细节，该网络采用全卷积而不是pooling。由于池化会错过一些信息，这可能会导致光谱失真以及纹理和细节的损失)

融合分支中的FMPi(i=1、2、3、4、5)可以表示为：

MSPi为融合模块FMPi的结果，MSP5 = FMSP为FMP5模块与全网的融合结果。

MSi-1⊕PANi-1⊕MSPi-1（i=2,3,4,5）为FMPi的输入，

其表示MSi-1,PANi-1和MSPi-1在通道上连接的图像

WMSPi−1 (i = 1,2,3,4)为1 × 1卷积核，每个融合层分别有32、64、128、256个卷积核。

WMSP4是最后一个融合层的1 × 1 × 3卷积核。

FMP相当于融合函数。

RDFNet相当于一个强大的融合函数，其中LRMS图像MS0和PAN图像PAN0作为输入，HRMS图像FMSP作为输出。

Residual module,即REP 和 FMP，为了提高RDFNet的精度，残差模块采用了精度更高的组合模式:

首先，执行Batch Norm归一化。

(batchnorm对relu函数最大的贡献是防止了梯度的爆炸或者衰减（脑补一下relu的形态，再脑补一下权重矩阵连乘的结果))

接着，利用ReLu激活函数进行非线性运算。

最后，进行卷积运算。

另外：

与传统的残差模块不同，ReLU激活函数的最后一层从加法操作移动到残差部分，如图↓。

（激活函数在网络中的位置也会影响剩余网络的性能）

在融合模块中，利用1 × 1卷积层实现多通道信息融合，并利用ReLU激活函数增加融合模型的非线性，提高融合能力。

(分布式网络)基于残差网络的多光谱全色图像分布式融合框架相关推荐

基于残差网络的城市人群流动预测
基于残差网络的城市人群流动预测摘要 Abstract 目录第一章绪论 1.1 研究背景及意义 1.2 研究现状 1.3 论文主要工作 1.4 论文组织结构第二章相关理论与技术基础 2.1 ...
基于CNN的Landsat 8全色与多光谱图像融合的泛锐化方法
基于CNN的Landsat 8全色与多光谱图像融合的泛锐化方法摘要为了解决影响传统方法的光谱和空间失真问题,提出了一种基于卷积神经网络结构的泛锐化方法,将低空间分辨率的多光谱图像进行升级,并与高空 ...
Hive数据分析——Spark是一种基于rdd（弹性数据集）的内存分布式并行处理框架，比于Hadoop将大量的中间结果写入HDFS，Spark避免了中间结果的持久化...
转自:http://blog.csdn.net/wh_springer/article/details/51842496 近十年来,随着Hadoop生态系统的不断完善,Hadoop早已成为大数据事实上 ...
【将高光谱、多光谱和全色图像进行融合】
HyperNet: A deep network for hyperspectral, multispectral, and panchromatic image fusion (HyperNet:一 ...
【图像融合】基于matlab高分辨率全色图IHS图像融合（含评价指标）【含Matlab源码 2406期】
⛄一.HSI彩色图像去噪简介 0引言彩色模型(又称彩色空间或者彩色系统)的种类众多,有RGB彩色模型.YIQ/YUV彩色模型.CMY/CMYK彩色模型.IHS彩色模型等. 不同应用领域或不同的情况下 ...
【图像融合】基于matlab高分辨率全色图小波变换图像融合（含评价指标）【含Matlab源码 2405期】
⛄一.小波变换彩色图像融合简介 1 前言图像融合是将不同传感器所获得的多个图像根据某种算法进行融合处理,取长补短,使一幅图像能够更清楚.更准确地反映多幅图像的信息,多聚焦彩色图像融合是图像融合的一个 ...
首个可用于深度学习的ToF相关数据集！基于置信度的立体相机以及ToF相机深度图融合框架...
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达作者 | cocoon 编辑 | 3D视觉开发者社区目录 ✦ contents 1. 概述 2. 方 ...
首个可用于深度学习的ToF相关数据集——基于置信度的立体相机以及ToF相机深度图融合框架
作者 | cocoon 编辑 | 3D视觉开发者社区 ✨如果觉得文章内容不错,别忘了三连支持下哦
多传感器分布式融合算法——多传感器网络协同目标跟踪和定位
多传感器分布式融合算法应用: 多传感器网络协同目标跟踪及定位原创不易,路过的各位大佬请点个赞主要讲解算法: 多传感器集中式融合算法/分布式融合算法/序贯融合算法 ...
基于zeromq的高性能分布式RPC框架Zerorpc 性能测试
Zeromq 是基于zeromq.gevent和 msgpack开发的分布式RPC框架zerorpc-python.这个框架简单.易用. 1. 安装zeromq 1 2 3 4 5 6 yum -y ...

(分布式网络)基于残差网络的多光谱全色图像分布式融合框架

(分布式网络)基于残差网络的多光谱全色图像分布式融合框架相关推荐

最新文章

热门文章