GANMcC: A Generative Adversarial Network with Multi-classification Constraints for Infrared and Visible Image Fusion文章学习笔记

模型结构

生成器的结构分为梯度路径与对比度路径

梯度信息表示的是纹理信息
对于梯度路径，连接两个可见光+一个红外图像作为输入

对比度信息用亮度表示
对于对比度路径，连接一个可见光+两个红外图像作为输入

指示输入图像是可见光图像的概率Pvis和输入是红外图像的概率Pir。鉴别器确定融合图像时，生成器希望两个概率都大，也就是说，让鉴别器考虑融合图像既是可见光图像又是红外图像。相反，判决器专用于精确地确定融合图像为伪数据，即使两个概率同时变小。这样，在生成器和鉴别器之间就建立了一个对抗性的博弈。当判决器计算融合后图像的Pvis和Pir都很大时，认为此时为信息平衡的融合图像。

生成器损失函数

生成器损失函数L-G。

其中r为平衡对抗损失和内容损失的平衡系数

对抗损失

对抗损失 L-Gadv定义如下

其中d是确定融合图像的鉴别器的概率标号。在我们的工作中，鉴别器是一个输出1 × 2概率向量的多分类器。

因此，D( )[1]表示向量的第一项，即融合图像为可见图像的概率Pvis。
同样，D( )[2]表示向量的第二项，即融合图像为红外图像的概率Pir。

值得注意的是，我们对两种概率使用相同的标记d，因此鉴别器具有相同的概率来确定融合图像是红外图像还是可见光图像。这里，因为生成器预期鉴别器不能区分融合图像和真实数据，所以d被设置为1。

内容损失

内容损失 由四部分组成，即主强度损失、主梯度损失、辅助梯度损失和辅助强度损失。L_con定义如下

其中β()为常数，需要进行调整，以实现这些项目之间的主次关系。梯度损失项通常小于强度损失项，因此需要调整β()以使它们在优化过程中同等重要。因此，β()的设置规则可以概括为:

其中主要强度损失 L_int-main定义如下

其中Ifused是融合图像，可以形式化为G(Ivis，Iir)，Iir是红外源图像。

主要梯度损失 L_grad-main定义如下:

因为红外图像也有一些纹理细节，可见光图像也包含对比度信息。

因此，我们提出了辅助损失的概念。也就是说，我们构造融合图像和红外图像之间的辅助梯度损失 * Lgradaux*，以及融合图像和可见光图像之间的辅助强度损失 Lintaux，如下:

判别器损失函数

鉴别器是一个多分类器，其损失函数必须不断提高其鉴别能力，并能有效地识别什么是红外图像或可见光图像。

鉴别器的损失函数由三部分组成，即可见光图像、红外图像和融合图像的判决损失。我们将这三种损耗表示为LDvis、LDir和LDfused。那就是:

考虑到鉴频器输出的1 × 2矢量，我们得到Pvis = D(x)[1]和Pir = D(x)[2]。当输入是可见光图像时，预期pvi应该接近1，Pir应该接近0。相应的损失定义为:

其中a1和a2为概率标签，a1设为1，a2设为0。也就是说，当输入可见光图像时，鉴别器想要判断是可见光图像的概率大，红外图像的概率小。

类似地，红外损耗项定义为:

其中b1设置为0，b2设置为1。

最后，当输入图像是融合图像时，损失函数公式化为:

其中c是鉴别器确定融合图像的概率标签，应设置为0。

同样，我们也对两种概率使用相同的标签c来达到平衡。

也就是说，在鉴别者看来，融合后的图像在相同程度上是伪可见光图像和伪红外图像。

改进的点

在某些场景中它受阴影的影响很大，这导致融合结果的阴影过渡不自然。

图像融合GANMcC学习笔记相关推荐

图像基础知识学习笔记
图像基础知识学习笔记文章目录图像基础知识学习笔记前言一.图像基础知识相关笔记 1.光学系统影响图像的结构主要包括什么? 2.常见噪声都有什么,其分类,及特点? 3.光圈,快门,景深? 4. I ...
Pycharm 图像分辨率调整学习笔记
Pycharm 图像分辨率调整学习笔记 from __future__ import print_function import os import cv2 import skimage.io as ...
图像融合方法概述笔记
原文:https://pan.baidu.com/s/1KFntXR6mDiAqxMV_KAJzdw 图像融合方法 1.像素的加权平均法(WA weighted averaging) F(x,y)=w ...
图像数据集标注学习笔记
1.图像标注到底是什么? 人工划分出图像中相关目标所在区域的位置信息.分类信息和语义信息等. 2.怎么才算一个完整的标注? 根据需求不同,对于标注的完整性的要求是不同的:比如,对于目标检测图像分类的数 ...
关于图像降噪的学习笔记
关于时域.空域和频域的概念空间域(spatial domain)也叫空域,即所说的像素域,在空域的处理就是在像素级的处理,如在像素级的图像叠加.通过傅立叶变换后,得到的是图像的频谱.表示图像的能量梯 ...
ios 图像坐标系_iOS学习笔记(1)-iPhone分辨率和坐标系
终于决定开始学习ios开发了,很久之前有过一次ios开发培训,但是做完作业就落下了,一直没有再捡起.想到如今ios开发如火如荼,再不学习真的要掉队了,希望能督促自己在2个月内完成ios开发的基础学习以 ...
《南溪的目标检测学习笔记》——特征融合的学习笔记
1 介绍在本文中,我们将介绍各种特征融合法方法,这里的特征融合指两种不同视角的特征进行融合- 1 Add Fuse--"最简单的融合方法,直接相加" Add Fuse是最简单的色 ...
自动驾驶——多传感器融合的学习笔记
1 多传感器融合算法的选择--使用EKF 因为Apollo使用的是EKF,所以我们也用EKF,(具体的资料可以查看issues_10957) <无人驾驶>课程的贾老师推荐的论文<EK ...
ISP（图像信号处理）学习笔记-DPC坏点校正
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明. 本文链接:https://blog.csdn.net/xiaoyouck/article/de ...

图像融合GANMcC学习笔记