1. Contribution

提出了一种新的去模糊框架。该框架不仅可以去模糊，还可以模糊图像，生成真实的模糊图像。
引入了相对模糊损失
提出了一个数据集RWBI

1.1 BGAN: Learning to Blur

BGAN这一模块是本文提出的方法同其他去模糊方法最大的区别。设计的初衷是：考虑到合成的模糊图片和真实的模糊图片之间有区别，这相对于深度学习来说，是学习所用到的知识正确性的问题，因此，肯定也是影响性能的因素。

其他方法所使用的数据集中，模糊/清晰图片中大都有一类是合成的，大都是模糊图片是合成的，这在目前无法避免。本文不同的是，它合成的模糊图片是向真实模糊图片靠近的模糊图片，也就是说，从神经网络的角度靠近了合成模糊图片与真实模糊图片的距离（现在想想，这一创新，直白来讲就是用神经网络合成模糊图片，之前模糊图片大都是根据估计的模糊核来生成）。

值得一提的是，这一过程巧妙利用了神经网络发展最好的领域之一的分类任务上，这让它在选择网络架构上有了太多的参考。

1.1.1 BGAN_G

首先明确BGAN_G的输入输出。如名字一般，输入是一张清晰图片，输出是一张接近真实场景的模糊图片。

为了模拟现实生活中可能出现的不同噪声，本文在输入时加入了噪声的机制。具体实现方式为：从高斯分布中提取一个长度为4的向量（没有指出为什么长度是4），然后将这一向量复制128*128次（应该是输入清晰图片的分辨率），这种做法在论文【Toward multimodal image-to-image translation】NeurIPS 2017

网络结构方面，采用的是一个卷积层，9个ResBlock（ResNet中的）和两个卷积层

1.1.2 BGAN_D

网络结构同VGG19一致

1.1.3 loss

采用感知损失和对抗损失

1.2 DBGAN

1.2.1 DBGAN_G

网络结构方面，采用的是一个卷积层，16个ResBlock（ResNet中的）和两个卷积层。不同的是，去掉了其中的BN层（增加计算量并且降低最终效果）

1.2.1 DBGAN_D

同VGG19一致

2 Loss

2.1 Perceptual Loss

同Johnson的工作不同，这里的Perceptual Loss的计算是在ReLu激活函数之前，而不是在ReLu之后

2.2 Content Loss

生成图像和真是图像之间的MSE

2.3 Relativistic Blur Loss

为了使得生成的图片更加接近真实的图片，这里就提出了一种RBL损失达成这一目标，更具体的来讲，它是为了使得合成的模糊图片真实概率接近0.5，使得真实模糊图片也接近0.5，达到所谓的将0push到0.5，将1pull到0.5。

具体实现方式时将图片经过特征提取后，减去一个batch内的平均值，再经过sigmoid函数。以对数的形式表示了最后的loss。

Experiment

Dataset

GoPro Dataset
RWBI Dataset
用于训练BGAN并测试去模糊模型的性能
3112张不同模糊图片

评价指标

PSNR
SSIM

实验过程

无相关配置，训练时间。

【Deblurring by Realistic Blurring】阅读笔记相关推荐

Deblurring by Realistic Blurring 图像去模糊论文解读
Deblurring by Realistic Blurring 图像去模糊论文解读原创 H Jiang GiantPandaCV 5月9日收录于话题 #去模糊1 #CVPR1 [GiantPan ...
论文阅读笔记之——《Recovering Realistic Texture in Image Super-resolution by Deep Spatial Feature Transform》
本博文是文章<Recovering Realistic Texture in Image Super-resolution by Deep Spatial Feature Transform&g ...
异常检测阅读笔记《Inpainting Transformer for Anomaly Detection》CVPR 2021
异常检测阅读笔记<Inpainting Transformer for Anomaly Detection> CVPR 2021 来源:2021年的CVPR,原文论链接论文的方向是图像方 ...
《Improved Techniques for Training GANs》-论文阅读笔记
<Improved Techniques for Training GANs>-论文阅读笔记文章目录 <Improved Techniques for Training GANs& ...
trainer setup_Detectron2源码阅读笔记-(一)Configamp;Trainer
一.代码结构概览 1.核心部分 configs:储存各种网络的yaml配置文件 datasets:存放数据集的地方 detectron2:运行代码的核心组件 tools:提供了运行代码的入口以及一切可 ...
VoxelNet阅读笔记
作者:Tom Hardy Date:2020-02-11 来源:VoxelNet阅读笔记
Transformers包tokenizer.encode()方法源码阅读笔记
Transformers包tokenizer.encode()方法源码阅读笔记_天才小呵呵的博客-CSDN博客_tokenizer.encode
源码阅读笔记 BiLSTM+CRF做NER任务流程图
源码阅读笔记 BiLSTM+CRF做NER任务(二) 源码地址:https://github.com/ZhixiuYe/NER-pytorch 本篇正式进入源码的阅读,按照流程顺序,一一解剖. 一.流 ...
Mina源码阅读笔记（一）-整体解读
2019独角兽企业重金招聘Python工程师标准>>> 今天的这一节,将从整体上对mina的源代码进行把握,网上已经有好多关于mina源码的阅读笔记,但好多都是列举了一下每个接口或者 ...

【Deblurring by Realistic Blurring】阅读笔记