摘要

本文提出了一种有效融合多曝光输入的方法，利用未配对数据集生成高质量的高动态范围(HDR)图像。基于深度学习的HDR图像生成方法严重依赖成对数据集，地面真实图像在生成合理的HDR图像中起着主导作用，没有地面真实值的数据集很难用于训练深度神经网络。最近，生成对抗网络(GAN)已经展示了在没有配对实例的情况下将图像从源域X转换到目标域Y的潜力。本文，提出了一个基于gan的网络来解决这些问题，同时生成令人愉快的HDR结果，命名为UPHDR-GAN。该方法放松了成对数据集的约束，学习了从LDR域到HDR域的映射关系。虽然配对数据丢失，但通过改进的GAN丢失、改进的鉴别器网络和有用的初始化阶段，UPHDR-GAN可以正确处理由移动物体或不对准引起的重影伪影。该方法保留了重要区域的细节，提高了图像的整体感知质量。与代表性方法的定性和定量比较表明了所提出的UPHDR-GAN的优越性。

introduction

为了提高融合性能，对输入图像对齐（秩最小化检测hdr生成异常点；Sampson距离估计单应矩阵对输入图像对齐）。当图像未完全正确对齐可能造成鬼影模糊。提出基于patch生成完全注册（registered）的图像堆栈，处理饱和区域并避免伪影。基于patch的方法缺乏鲁棒性，对于复杂的场景不能产生满意的结果。引入基于学习的方法来模拟融合过程（基于流的预处理来对齐输入；将对齐过程嵌入到网络中；提出注意引导网络处理未对准和饱和；基于gan的方法引入对抗损失，创建真实的信息来改善不满意的区域）。基于深度学习的融合方法严重依赖成对输入和地面真实图像。

为了放松数据集的约束，本文提出一种基于gan的融合方法，使用非配对数据集优化网络，命名为UPHDR-GAN。首先，引入初始化阶段来维护参考图像和输出之间的内容信息。初始化阶段完全避免了重影，因为它只是将参考图像转移到HDR域。其次，改进了常见的对抗损失，生成具有尖锐边缘的图像。第三，在融合曝光不足和过曝图像的信息时，采用min-patch训练模块对重影伪影进行检测和处理。UPHDR-GAN通过平衡HDR转换和内容保存来正确处理动态对象。

主要贡献

提出了一种基于gan的多曝光HDR融合网络，该网络放松了成对训练数据的约束，学习了输入域和目标域之间的映射关系。据我们所知，这项工作是第一个基于gan的非配对HDR重建方法。

•提出的方法不仅可以在不配对的数据集上训练，而且可以生成具有更少鬼影伪影的HDR结果。我们利用改进的GAN损耗、初始化阶段和最小补丁训练模块来避免重影，提高图像质量。

proposed method

网络框图

UPHDR-GAN是一个图像到图像的任务，有三个输入和一个输出，结构如图2：

网络架构的详细层结构如表所示

网络详介

1、输入

为了提高效率，我们没有使用全尺寸的图像对模型进行优化，而是从训练图像中以64步的步幅裁剪256 × 256个重叠的patch。编码器包含三个分支，每个分支的输入大小为256×256 × 6，即输入x = {x1, x2, x3}及其映射的HDR图像Hm = {H1, H2, H3}的拼接。Hm通过简单的gamma编码得到:

Hi=xiγtiγ>1H_i=\frac{x_i^\gamma}{t_i}~ ~~~~~~~~~~~~~ \gamma>1Hi=tixiγ γ>1

式中xi为输入图像，ti为对应的曝光时间。LDR图像和映射的HDR图像是互补的，前者检测饱和度和未对准，后者促进LDR图像之间的网络收敛。

2、生成器输出

在得到HDR输出Ho后，我们添加一个µ-law[5]后处理来细化生成的HDR图像的范围，因为在色调映射的HDR图像上计算损失函数更有效:

T(Ho)=log⁡(1+μHo)log⁡(1+μ)T(H_o)=\frac{\log(1+\mu H_o)}{\log(1+\mu) }T(Ho)=log(1+μ)log(1+μHo)

3、生成器

生成器网络由编码器、剩余块和解码器组成。编码器由三个卷积块E1、E2和E3组成。编码器过程中提取有用的信号，用于后续的残差块，探索高阶特征。两个转置后的卷积块(D1和D2)和卷积层(D3)组成解码器，将特征恢复到输出图像。

4、鉴别器

鉴别器与生成器互补。PatchGAN用于对image patch进行分类，而不是对完整的图像i分类。从生成的HDR图像和真实的HDR图像中裁剪70 × 70个重叠的patch来训练基于patch的鉴别器。然而，在训练过程中，并不是patch中的所有区域都有助于判别器的优化。如果生成器产生的图像具有奇怪的区域和不同于真实图像的区域，特殊的区域可以被认为是不受欢迎的鬼影伪影。多注意最奇怪的部分是必要的。

5、Min-patch Module

在PatchGAN的末尾引入Min-patch训练模块。min-patch训练的实现是在判别器的最终输出中增加一个可选的最小池化层。F表示鉴别器中C5卷积层之后的特征。在训练鉴别器时，使用常规的PatchGAN，用F对网络进行优化。在训练生成器时，在 C5 卷积层之后添加最小池化层。使用最小池化层(Fpool)之后的特性来计算损失。该生成器使用Fpool进行优化。该鉴别器利用普通的PatchGAN进行真伪鉴别，并使用F进行训练。经过 C5 卷积层的特征F的大小是64 × 64。min-patch训练模块采用16 × 16最小pooling，输出大小为4 × 4的特征Fpool来优化生成器。

损失函数

优化方程

由于GAN是一个最小-最大优化系统（最小化G,最大化D），本文提出的UPHDR-GAN优化如下方程，以达到发生器和鉴别器之间的平衡:
G∗,D∗=argminmaxL(G,D)G^*,D^* =arg~ min~max~L(G,D)G∗,D∗=arg min max L(G,D)

目标函数

基于HDR成像特性，目标函数设计为以下两项:
(1)GAN损耗LGAN(G,D)L_{GAN}(G,D)LGAN(G,D)实现所需转换，将多曝光输入转换为HDR输出;
(2) HDR转换过程中保留图像语义信息的内容损失LCON(G)L_{CON}(G)LCON(G)。
全损失函数为:
L(G,D)=LGAN(G,D)+ωCONLCON(G)L(G,D)=L_{GAN}(G,D)+\omega_{CON} L_{CON}(G)L(G,D)=LGAN(G,D)+ωCONLCON(G) 其中ωCON\omega_{CON}ωCON为超参数，控制内容丢失的相对重要性，平衡转换效果和内容保存效果。

GAN Loss:

GAN Loss有助于G在没有ground truth的情况下生成与目标域图像相似的结果，并且使用生成的HDR图像和真实的HDR图像混淆D。然而，vanilla GAN损失不能保留边缘和边界信息。因此，Chen等人提出将D与模糊数据集混淆，将模糊数据集视为伪图像，驱动生成器生成边缘清晰的图像。类似地，我们还添加了一个模糊的HDR数据集，以帮助G生成高质量的输出。

具体来说，对于目标图像{yj}j=1，…，M∈Y，我们利用核大小为5 × 5的高斯滤波器去除它们清晰的边缘，生成模糊数据集{bj}j=1，…，M∈b。我们在图3中展示了模糊数据集的两个例子。生成的图像应避免边缘模糊的特点。选择模糊数据集作为伪图像可以帮助网络产生没有模糊边缘的图像。也就是说，鉴别器需要对G(x)、b和y三类图像进行分类，其中生成的图像G(x)和模糊的HDR图像b是虚假输入，真实的HDR图像y是真实输入。修改后的对抗性损失设计为:

【论文学习】UPHDR-GAN: Generative Adversarial Network forHigh Dynamic Range Imaging with Unpaired Data相关推荐

GAN —— Generative Adversarial Network
文章目录生成对抗网络 GAN -- Generative Adversarial Network 一, Why GAN 二,GAN的思想 Thought of GAN 三,GAN网络架构 1,生成器 ...
GAN(Generative Adversarial Network)
GAN(Generative Adversarial Network),我们称之为生成式对抗网络 GAN的几种变体 GAN - CGAN - Pix2Pix - CycleGAN - StarGAN ...
生成对抗网络（GAN，Generative Adversarial Network）介绍
生成对抗网络(GAN,Generative Adversarial Network)介绍 flyfish 在无监督学习中,最近的突破有哪些? 看一个GAN的应用第一张图是用GAN将一副古代女子的画像 ...
论文阅读 [TPAMI-2022] DE-GAN: A Conditional Generative Adversarial Network for Document Enhancement
论文阅读 [TPAMI-2022] DE-GAN: A Conditional Generative Adversarial Network for Document Enhancement 论文搜索 ...
【深度学习】Generative Adversarial Network 生成式对抗网络（GAN）
文章目录一.神经网络作为生成器 1.1 什么是生成器? 1.2 为什么需要输出一个分布? 1.3 什么时候需要生成器? 二.Generative Adversarial Network 生成式对抗网 ...
Face-Morphing using Generative Adversarial Network(GAN)论文阅读笔记
题目:Face-Morphing using Generative Adversarial Network(GAN) 参考文章:原文地址摘要: 讲解了GAN的基本原理以及利用GAN换脸的原理. 在像 ...
Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network论文翻译——中英文对照
文章作者:Tyan 博客:noahsnail.com | CSDN | 简书声明:作者翻译论文仅为学习,如有侵权请联系作者删除博文,谢谢! 翻译论文汇总:https://github.com ...
Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network论文翻译——中文版
文章作者:Tyan 博客:noahsnail.com | CSDN | 简书声明:作者翻译论文仅为学习,如有侵权请联系作者删除博文,谢谢! 翻译论文汇总:https://github.com ...
论文翻译：2019_Speech Super Resolution Generative Adversarial Network
博客作者:凌逆战论文地址:基于GAN的音频超分辨率博客地址:https://www.cnblogs.com/LXP-Never/p/10874993.html 论文作者:Sefik Emre Es ...

【论文学习】UPHDR-GAN: Generative Adversarial Network forHigh Dynamic Range Imaging with Unpaired Data

UPHDR-GAN：基于非配对数据的高动态范围成像生成对抗网络

摘要