wgan 不理解损失函数_[图像盲去噪与GAN]GCBD翻译理解

图像去噪是low-level视觉问题中的一个经典的话题。其退化模型为 y=x+v，图像去噪的目标就是通过减去噪声 v，从含噪声的图像 y 中得到干净图像 x 。在很多情况下，因为各种因素的影响，噪声的信息是无法得到的，在这样的情况下进行去噪，就变成了盲去噪。

这篇文章，Image Blind Denoising With Generative Adversarial Network Based Noise Modeling，发表在CVPR 2018上，通过利用GAN对噪声分布进行建模，并通过建立的模型生成噪声样本，与干净图像集合构成训练数据集，训练去噪网络来进行盲去噪。

文章链接：

Image Blind Denoising With Generative Adversarial Network Based Noise Modelingopenaccess.thecvf.com

很多去噪问题的解法，例如基于多种图像先验信息的方法，如BM3D，可以通过结合noise-level估计算法，来达到盲去噪的效果。但是，这些方法还是有很大的缺陷。首先，在这些方法中的图像的先验信息大多数是基于人类的知识的，所以图像的全部特征就很难被捕捉到。第二，这些方法中绝大多数都是只用了输入图像的内部信息，没有使用到任何的外部信息，所以，还有很大的提升空间。

而基于已知噪声信息（noise-level）的图像去噪方法，特别是基于CNN的方法，对于已知高斯噪声的信息，这些方法可以达到SOTA的水平。而且，这些方法不需要依靠人类对于图像的先验信息。但是这些方法在实际中很难派上用场。因为实际中我们得到一张图像，其中的噪声信息是未知的。

基于上面的分析，作者的思路：通过给定的含噪声的图像构建一个配对的训练数据集，然后通过使用基于CNN的方法来进行盲去噪。

构建这样一个数据集需要通过含噪声的图像来对噪声的分布进行建模，然后生成噪声数据。实际上，前面的工作已经使用GMM（高斯混合模型）来进行对噪声的模拟。但是得到的噪声数据并不是和观测得到的噪声十分相似。所以就需要一个更好的噪声建模方法。

作者在本文中提出了一个新颖的两步框架。首先，训练GAN以估计输入噪声图像上的噪声分布并生成噪声样本。其次，利用从第一步采样的噪声块来构建成对的训练数据集，该数据集又用于训练CNN以对给定的噪声图像进行去噪。

网络结构

GCBD方法

1.噪声建模估计

文章假设需要处理的图像都含有同一类型的未知的均值为0的噪声。然后，进行噪声建模。

（1）提取噪声图像块

这是正确训练GAN以模拟未知噪声的重要步骤，因为噪声分布将从噪声主导数据中更好地被估计。

为了减小原始背景的影响，需要从给定噪声图像中具有弱背景的部分中首先提取一组近似噪声块（或块），例如V。

这样，噪声分布成为GAN学习的主要目标，这可能使GAN模型更加准确。在噪声分布的期望为零的假设下，可以通过减去噪声图像中相对平滑的patch（smoothed patch）的平均值来获得近似的噪声patch。这里讨论的smoothed patch指的是内部内容非常相似的区域（文中的数学定义即为patch中各部分的均值，方差在一个很小的范围内波动）。

1.以步长为

对整张含噪声图像提取图像块

，其大小为

；

2.以步长为

对图像块

提取局部图像块

，其大小为

；

3.若对于

中所有的

，都满足以下条件：

就说明

为smoothed patch。（

）

4.将每一个smoothed patch保存到集合S中，然后各自减去各自的均值，就得到noise patch集合V。

（2）利用GAN进行噪声建模

利用刚才得到的noise patch集合，然后用GAN来对噪声进行建模，通过建立的模型生成更多的噪声数据。

在文章的方法中，GAN是通过第一部得到的近似噪声patch集合V来估计噪声的分布的。

由于WGAN可以改进GAN的训练并生成高质量的样本。因此，在文章的实验中，WGAN-GP是WGAN的改进版本，用于学习噪声分布。

这里的loss函数为：

这里的

表示V的数据分布，

是生成器生成数据的分布。

被定义为沿着

和

样的点对之间的直线均匀分布的采样。

GAN网络结构

作者采用类似于DCGAN的网络，训练好的网络被用来生成噪声样本（增强集合V）并最终得到集合

。

2.通过深度CNN进行去噪

许多以前的工作提出通过训练具有大型数据集的CNN来解决去噪问题，并取得了令人瞩目的成果。如前所述，CNN可以隐含地从配对的训练数据集中学习潜在噪声模型，从而放松了对图像先验的人类知识的依赖。因此，在文章的方法中使用CNN进行去噪。

为了训练CNN，首先需要构建一个配对的训练数据集，从刚才得到的经过GAN扩展的

数据集，然后再从干净图像的数据集中通过图像分块（patch大小

)的方法得到干净图像数据集X。在

中的noise block随机地加入到X中，得到集合Y。其中有：

。然后通过集合X和Y构成配对数据集{X,Y}。

实际上，数据集是在训练去噪网络的时候构建的。在每个epoch，

和

的组合都会改变，然后构成一个新的配对数据集

。

去噪网络

作者使用的网络结构类似于DnCNN，CNN被视为预测残留图像的残差单元，即输入噪声图像和潜在干净图像之间的差异。

损失函数为：

参数设定：

GAN的参数设定则参考的是DCGAN中的设定，DnCNN则是以lr=0.001，用SGD优化器训练50个epoch。

相关实验

作者用合成噪声图像和真实噪声图像评估了GCBD方法，并对几种代表性方法进行了比较。

主要分为4部分：

（1）验证GAN的噪声建模效果，GCBD和一些SOTA的方法进行比较，特别是一些基于判别学习的方法（像DnCNN），从高斯盲去噪方面进行比较。

（2）GCBD可以处理比高斯噪声更复杂的噪声，利用混合噪声进行实验。

（3）真实图像去噪实验。

（4）对噪声建模的一些讨论，说明选择GAN而不是传统方法（GMM）的原因。

实验数据：

Test set：BSD68。

真实图像：DND数据集，NIGHT数据集（25张夜间高分辨率含噪声图像）

用于构建配对数据集的干净图像集：CLEAN1

为了模拟实际处理大量图像数据的情况，将噪声添加到另一组高分辨率干净图像集（CLEAN2）以在合成数据的评估中形成用于GCBD的输入噪声图像。（测试泛化能力）

实验结果：

1.高斯盲去噪与合成噪声去噪

高斯盲去噪以及混合噪声去噪结果

可以看到在高斯盲去噪方面，文章提出的方法GCBD和DnCNN不相上下，而在合成噪声去噪方面，GCBD则达到了最高水平。文中所用到的混合噪声为10%的均匀分布噪声（分布区间为

），20%的高斯噪声（

），70%的高斯噪声（

）。

2.真实图像去噪

DND数据集实验结果

真实图像去噪结果

NIGHT数据集实验结果

因为NIGHT数据集没有GT，所以之后能通过视觉效果进行衡量。

NIGHT数据集实验结果

视觉效果上看，GCBD达到了最佳的效果，在保留图像信息的情况下，去除了噪声。

3.选择GAN而不是GMM的原因

对于真实含噪声图像而言，GMM对噪声估计的效果并没有GAN好，如图所示：

噪声估计结果

可以看到利用GAN估计的噪声比GMM估计的噪声更接近与真实图像噪声。作者认为原因是GMM中高斯模型的数量以及显式地对噪声进行建模会限制GMM的估计能力，而GAN则是隐式地对噪声进行估计，所以效果会更好一些。

4.利用GAN生成噪声样本的效果

作者通过实验发现利用GAN生成更多噪声数据的方法能提升性能（高斯盲去噪提升0.34dB，混合噪声去噪提升0.91dB）。作者认为原因是只对提取的噪声块直接进行训练的话，数据缺少多样性，而利用GAN生成更多噪声数据则弥补了这一缺陷。

总结

这篇文章针对图像盲去噪任务，通过利用GAN学习噪声的分布，并生成更多的噪声数据来生成训练数据集对CNN进行训练，得到的图像盲去噪效果达到了SOTA的水平。