【relativistic GAN :细节注入】

Pansharpening approach via two-stream detail injection based on relativistic generative adversarial networks

（基于相对论生成对抗网络的双流细节注入全色锐化方法）
全色锐化技术的目标是从低空间分辨率的多光谱图像（MS）和高空间分辨率的单波段全色图像（PAN）重建高分辨率的光谱图像（HRMS）。由于这种技术的功效依赖于其增强MS图像的空间信息同时保存其光谱特征的能力，本文提出了一种有效的细节注入生成式对抗网络DI-GAN，用于遥感图像的全色锐化。DI-GAN采用深度双流卷积神经网络（CNN）生成器模型来联合PAN图像上可用的空间信息和属于MS图像的光谱特性，以便预测要准确注入到MS图像中的高频细节，从而重建期望的HRMS。特别提出了一个原始的损失函数，以鼓励网络只预测高频细节。DI-GAN并行结合了一个相对论鉴别器，使全色锐化的结果更加逼真。

介绍

由于与信噪比相对应的物理限制，具有高空间分辨率（HRMS）的多光谱图像的采集当前是不实际的。因此，作为一种替代解决办法，GeoEye1、QuickBird和WorldView等大多数遥感光学卫星提供两种具有不同和互补的空间和光谱特性的图像：全色（PAN）图像和多光谱（MS）图像。PAN图像是在单个宽波长带宽上以最大空间分辨率捕获的，因此产生具有不足光谱质量的高空间分辨率。相反，MS图像在不同的多个窄带宽上被捕获，具有高达八个波段的高光谱分辨率，但是空间质量较低。因此，为了克服采集系统带来的物理限制，研究人员提出了一种图像融合技术，称为全色锐化，通过结合MS和PAN图像的最佳特征，提供单一的高空间和光谱产品。商业公司（如Google Earth和Bing Maps）对全色锐化图像的需求不断增加，这些公司需要高分辨率测绘产品。此外，由于全色锐化是许多遥感任务（例如变化检测）中增强卫星图像的一个必要的预处理步骤，因此受到了遥感和图像处理界的极大关注，场景解读），以及图像分类，其需要HRMS来检测小物体和表面并监视它们的时间变化。
在过去的几十年里，涉及全色锐化的文章数量显著增加。一般而言，大多数拟议技术可分为五大类：组件替换（CS）、多分辨率分析（MRA）、基于CS和MRA的混合技术、基于模型的技术和基于深度学习的方法。MRA类别提供了高光谱保真度，但可能产生严重的空间失真。相反，CS类别提供了相反的特性，因为其产品具有高的空间细节，但光谱特征可能会受到显著干扰。另一个常用类别涉及基于模型的方法，其相对于CS和MRA类别实现了增强的融合性能。然而，由于超参数和先验知识的数量巨大，这种分类需要很高的计算时间，这使得优化过程非常复杂。由于计算机硬件的显著发展，深度学习在许多应用中取得了相当大的成功，已经引起了一些计算机视觉社区的关注。由于该技术的高性能，研究人员开发了几种基于深度学习的全色锐化方法，特别是卷积神经网络（CNNs）。受CNN处理超分辨率任务的能力的启发，特别是超分辨率CNN（SR-CNN），Masi等人引入了第一个基于CNN的全色锐化方法，称为PNN（用于全色锐化神经网络），相对于最先进的方法，该方法实现了增强的融合质量。Wei、Yuan、Shen和Zhang等人尝试通过利用深度神经网络的能力来提高融合质量，开发了深度残差全色锐化CNN（DRPNN），旨在学习从原始MS到HRMS的非线性映射，Wei等人开发了深度残差全色锐化CNN（DRPNN），旨在学习从原始MS到HRMS的非线性映射。与PNN相比，DRPNN获得了非常有竞争力的结果。在过去的几年中，生成式对抗网络（GANs）在各种计算机视觉任务上取得了巨大的成绩，这引起了深度学习社区的极大关注。（对GAN的表述：略）
为了提高全色锐化图像的空间质量，在保留光谱信息的同时，生成更逼真的高分辨率遥感图像，提出了一种基于GAN的端到端双流全色锐化细节注入技术—>全色锐化细节注入GAN（Pansharpening Detail Injection GAN，DI-GAN）。为了生成高空间质量的全色锐化图像，双流生成器网络根据从MS和PAN图像提取的特征来学习需要注入到MS图像中的高频细节。同时，提出了一种相对论平均鉴别器，使泛锐化结果更加逼真。

贡献

1）与直接预测HRMS不同，所提出的方法集中在从可用的低分辨率MS图像中找到缺失的高分辨率细节。由于保留了MS图像的光谱特征，该策略导致更好的光谱质量，同时增强了融合过程中的空间质量。
2）与将MS和PAN图像连接为受SR任务影响的单输入单输出（SISO）的一些基于CNN的方法不同，发生器网络通过两个相同的网络采用双流架构，分别用于MS和PAN图像。多输入单输出（MISO）体系结构更好地利用了两个采集图像的规范。因此，它可以导致更自适应的特征提取，并因此导致更好的融合质量。
3）总体而言，GANs提供了一种新的概念来处理全色锐化任务，因为它们在训练过程中包含了一种注重融合结果真实感方面的机制，相对于现有技术，尤其是在视觉检测方面，GANs产生了更好的融合性能。然而，由于大多数基于GAN的技术是受SR任务的启发，它们直接估计期望的融合图像，这可能负面地影响MS图像的光谱特征。对于本文所提出的方法，它仅估计需要注入到MS图像中的高频细节，这保留了MS图像的低频信息，因此，在融合结果中仔细地保留了光谱特征。此外，GAN的生成行为通过利用相对论平均鉴别器而不是标准鉴别器。前者提供了更逼真的图像，因为它预测了输入图像比假图像相对更逼真的概率。
4）该方法利用GAN的对抗性学习原理，通过一个有效的损失函数，仅对缺失的高频细节进行预测。因此，所提出的损耗包括惩罚不期望的低频信息的新项，这又引导发生器网络估计更合适的高频细节。该过程保证了产生富含空间和光谱信息的全色锐化图像，此外由于对抗学习而更加逼真。

背景

Detail injection scheme

设