Image Blind Denoising With Generative Adversarial Network Based Noise Modeling

引言
相关工作
基于GAN-CNN的盲去噪(GCBD)
- Noise Block Extraction
- Noise Modeling with GAN
- Denoising with Deep CNN
实验
- 实验设置
- Evaluation with Synthetic Noise
- Evaluation with Real-World Noise
- Selection of Noise Modeling Methods

引言

经典方法：BM3D等
缺点：首先，这些方法所采用的图像先验知识大多是基于人类知识的，因此很难捕捉到图像的全部特征。因此，性能可能受到限制。其次，这些方法大多只利用输入图像的内部信息，而不使用任何外部信息。

其他方法：多尺度
这些方法通常是噪声模型估计和自适应去噪算法的结合。

判别学习方法：CNN
基于CNNs的方法不需要依赖于人类对图像先验的知识。使用现有的模型，这些模型是为去除已知噪声而训练的，不能取得很好的效果。因此，由于缺乏成对训练数据集，这些方法可能无法直接用于处理盲去噪问题。

高斯混合模型（GMM）作为一种典型的噪声建模方法，GMM首次在我们的实验中被用来模拟输入的真实噪声图像上的噪声。然而，学习模型产生的噪声样本与观测到的噪声样本并不十分相似。

一般情况下，生成网络被训练成生成难以与真实数据区分的样本，而判别网络被训练来确定样本是来自真实数据还是来自生成网络。生成网络可以训练成学习真实噪声图像的分布，生成具有相似噪声的图像，但目前还没有机制保证原始图像的内容不发生变化。为了解决这一问题，提出了一种新的解决方案：训练生成网络产生相似的噪声而不是噪声图像。

本文提出了一个新的两步框架。首先，训练一个GAN来估计输入噪声图像上的噪声分布并生成噪声样本。其次，利用第一步采集的噪声块构造成对的训练数据集，然后训练深层CNN对给定的噪声图像进行去噪处理。该方法克服了以往方法的缺点，解决了基于区分学习的去噪方法的关键问题。

基于GAN-CNN的盲去噪(GCBD)

一般很难训练生成网络来学习从干净图像到具有与给定数据相似噪声的图像的映射。为了缓解这个问题，一个生成网络将被训练成产生噪声而不是噪声图像。为了简化这个问题，我们假设处理过的图像具有相同种类的未知零均值噪声，其中包括广泛的噪声。框架概述如下：

在建立成对训练数据集之前，需要从给定的噪声图像中提取近似的噪声块。然后，这些模块被用来更好地训练GAN进行噪声建模和噪声数据生成。

Noise Block Extraction

为了减少原始背景的影响，在给定的噪声图像中，首先需要从弱背景部分提取一组近似的噪声块，如VVV。噪声分布就成为GAN学习的主要目标，这可能会使GAN模型更加精确。在噪声分布的期望值为零的假设下，通过减去噪声图像中一个相对平滑的patch的平均值，可以得到一个近似的噪声patch。这里讨论的平滑patch是指内部部分非常相似的区域。

Fast smooth patch search algorithm：

符号	意义	大小	获得方式
pip_ipi	global patch	d×dd\times dd×d	以步长sgs_gsg扫描整个噪声图像
qjiq_j^iqji	local patch	h×hh\times hh×h	以步长sls_lsl扫描pip_ipi
pip_ipi是否是smooth patch取决于对每个jjj，pip_ipi和qjiq_j^iqji的平均值和方差的差异，两个限制条件如下：

其中μ,γ∈(0,1)\mu,\gamma\in(0,1)μ,γ∈(0,1)，如果对每个jjj，上述条件都满足，则pip_ipi为smooth patch并加入到集合SSS中。S={s1,s2,⋯,st}S=\{s_1,s_2,\cdots,s_t\}S={s1,s2,⋯,st}是通过对所有噪声图像应用该算法获得，近似噪声blocks集合V={v1,v2,⋯,vt}V=\{v_1,v_2,\cdots,v_t\}V={v1,v2,⋯,vt}可以由vi=si−Mean(si)v_i=s_i-Mean(s_i)vi=si−Mean(si)获得。

现在，我们使用的设备通常能产生高分辨率的图像。这些图像中有大量合格的平滑区域，如天空、墙壁等。因此，在有限的图像中可以找到足够的平滑块，这意味着可以提取足够多的噪声块来训练GAN。

Noise Modeling with GAN

为了提高去噪性能，一种方法是对提取出的块VVV进行噪声分布建模，然后生成更多的噪声数据(任意数量的样本具有更多的多样性)，以供CNN的训练。

采用一个GAN来估计一组近似噪声块VVV上的噪声分布，在我们的实验中，采用WGAN的改进版本WGAN-GP来学习噪声分布。我们任务的目标函数是

其中Pr\mathbb{P}_rPr为VVV的分布，Pg\mathbb{P}_gPg为生成器分布(generator distruibution)，为Px^\mathbb{P}_{\hat{x}}Px^定义为沿从Pr\mathbb{P}_rPr和Pg\mathbb{P}_gPg采样的成对点之间的直线均匀采样的分布。细节参考Improved training of wasserstein gans.

采用与DCGAN相似的网络，利用训练后的GAN模型产生噪声样本以增强(augmenting)VVV，最终得到一个更大的集合V′={v1′,v2′,⋯,vw′}V'=\{v_1',v_2',\cdots,v_w'\}V′={v1′,v2′,⋯,vw′}. 细节参考Unsupervised representation learning with deep convolutional generative adversarial networks.

Denoising with Deep CNN

给定V′V'V′，另一组干净图像被分成大小为d×dd\times dd×d的小块，形成集合X={x1,x2⋯,xe}X=\{x_1,x_2\cdots,x_e\}X={x1,x2⋯,xe}，将V′V'V′的噪声块随机添加到XXX的块中，得到Y={y1,y2⋯,yf}Y=\{y_1,y_2\cdots,y_f\}Y={y1,y2⋯,yf}，其中y1=xj+vk′y_1=x_j+v_k'y1=xj+vk′. 于是XXX和YYY构成一对训练数据集{X,Y}\{X,Y\}{X,Y}. 在每个epoch中，xjx_jxj和vk′v_k'vk′的组合发生了变化，得到了一个新的数据集{X,Y‘}\{X,Y‘\}{X,Y‘}，这导致数据的进一步扩充。

我们在实验中采用了与DnCNN相似的网络结构。将CNN作为一个单一的残差单元来预测残差图像，要最小化的目标函数定义为

其中Θ\varThetaΘ为网络的参数，NNN是训练数据的大小，yiy_iyi是含噪图像，xix_ixi是ground truth，采用BN、ReLU和残差学习策略来改进深层网络的训练。CNN由17个单元组成的网络结构，采用零填充，保证输入输出的维数一致。

实验

实验设置

数据集：在合成数据的实验中，使用BSD68作为测试集。在对真实世界数据的实验中，评估是在基准数据集Darmstadt Noise dataset(DND)和一个数据集NIGHT上进行的。对于所提出的GCBD，使用一组干净图像(CLEAN1)来建立由GAN产生的噪声数据的成对训练数据集。为了模拟实际处理大图像的情况，在另一组高分辨率干净图像(CLEAN2)中加入噪声，形成GCBD在合成数据评价中的输入噪声图像。

参数设置：

参数	数值
ddd	64
hhh	16
sgs_gsg	32
sls_lsl	16
μ\muμ	0.1
γ\gammaγ	0.25
initial learning rate	0.001
epochs	50

对比方法：BM3D，EPLL，NCSR，WNNM，多尺度，DnCNN-B.

Evaluation with Synthetic Noise

GCBD与DnCNN-B的结果相当，这是令人印象深刻的，因为DnCNN-B是用精确数据训练的，而GCBD是用GAN生成的近似数据训练的。

混合噪声由10%均匀噪声[−s,s]、20%高斯噪声N(0,1)和70%高斯噪声N(0,0.01)组成。DnCNN-B由于没有配对训练数据集而不能很好地工作。相反，本文提出的GCBD利用GAN来估计噪声图像的噪声分布，解决了训练数据不足的问题，取得了显著的去噪效果。

Evaluation with Real-World Noise

与其他方法相比，GCBD在去除噪声的同时，在保留细节方面做得非常好，比如光的火花。

Selection of Noise Modeling Methods

GAN产生的样本比GMM产生的样本更接近实际观测噪声，这说明GAN比简单的基于像素的GMM能更好地处理更复杂的噪声。

这是因为高斯模型和显式定义模型的数量限制了GMM的性能，而GAN利用CNN强大的隐式学习噪声模型的能力，在不需要人类图像先验知识的情况下捕捉更多的噪声特征。这样，GAN在噪声建模问题上显示出了潜力。

该方法的一个局限性是假设噪声为零均值的加性噪声。这种类型的噪声在自然环境中很常见，包括范围很广的噪声。如果未知噪声的期望值是可用的，它将与我们的方法相同。接下来，我们将考虑克服这一局限性。

论文笔记7：Image Blind Denoising With Generative Adversarial Network Based Noise Modeling相关推荐

Yet Another Text Captcha Solver: A Generative Adversarial Network Based Approach
目的 Identification text verification code 摘要 Despite several attacks have been proposed, text-based C ...
论文笔记：Eye In-Painting with Exemplar Generative Adversarial Networks
先发一张美美的图片! 这篇文章的工作出发点是补救那些人在拍照时不小心眼睛闭上而得到的照片,可以说是"开眼"啦~ 这里先简要介绍这项工作: 1)目的:让照片中闭眼的人物睁开双眼: 2 ...
【论文翻译】中英对照翻译--（Attentive Generative Adversarial Network for Raindrop Removal from A Single Image）
[开始时间]2018.10.08 [完成时间]2018.10.09 [论文翻译]Attentive GAN论文中英对照翻译--(Attentive Generative Adversarial Net ...
ProGAN: Network Embedding via Proximity Generative Adversarial Network 论文笔记
ProGAN: Network Embedding via Proximity Generative Adversarial Network 使用相似性生成对抗网络的网络嵌入动机: 发现不同节点之间 ...
【论文笔记】DOA-GAN: Dual-Order Attentive Generative Adversarial Network for Image Copy-move Forgery Detec
DOA-GAN: Dual-Order Attentive Generative Adversarial Network for Image Copy-move Forgery Detection a ...
Face-Morphing using Generative Adversarial Network(GAN)论文阅读笔记
题目:Face-Morphing using Generative Adversarial Network(GAN) 参考文章:原文地址摘要: 讲解了GAN的基本原理以及利用GAN换脸的原理. 在像 ...
PDGAN: A Novel Poisoning Defense Method in Federated Learning Using Generative Adversarial Network笔记
前言论文 "PDGAN: A Novel Poisoning Defense Method in Federated Learning Using Generative Adversari ...
2021李宏毅机器学习笔记--22 Generative Adversarial Network 01
@[TOC](2021李宏毅机器学习笔记–22 Generative Adversarial Network 01(GAN,生成式对抗网络)) 摘要 GAN是建立于神经网络的基础上的,其核心思想是&q ...
论文翻译：2018_Speech Bandwidth Extension Using Generative Adversarial Networks
论文地址:基于生成对抗网络的语音频带扩展博客作者(引用请指明出处):https://www.cnblogs.com/LXP-Never/p/10121897.html 摘要语音盲带宽扩展技术已经出 ...

论文笔记7：Image Blind Denoising With Generative Adversarial Network Based Noise Modeling