【论文解读】DPED：DSLR-Quality Photos on Mobile Devices with Deep Convolutional Networks

1 论文简介

DSLR-Quality Photos on Mobile Devices with Deep Convolutional Networks：
使用深度卷积网络使用移动设备上的照片生成DSLR质量照片，也就是生成单反质量的照片

2 论文的贡献

•基于学习移动设备和DSLR相机之间的映射功能的照片增强任务的新方法。
•目标模型以端到端的方式进行培训，无需使用任何额外的监督或手工制作的功能。
•新大型数据集—由DSLR相机和智能手机的3个低端相机在各种条件下同步拍摄的6,000多张照片
•由颜色，纹理和内容术语组成的多项组合损失函数，可以进行有效的图像质量评估。
•测量客观和主观质量的实验证明了增强的照片相对于原始照片的优势，它们与DSLR相同的质量相当。

3 数据集

作者使用3个手机和一个单反同时拍摄一个物体，组成6000张照片的全新数据库用于研究，具体的参数如下图

但是由此产生了一个问题，就是排到的同场景并不能按照像素对其，这个问题，作者是通过上计算和匹配SIFT关键点。这些用于使用RANSAC估计单应性。然后，我们将两个图像裁剪到交叉点部分，并将DSLR图像裁剪缩小到手机裁剪的大小。（单应性如今已经有着多方面的应用，这里不再具体赘述，不太懂的可以全去看一下这个概念，现在这个方法已经封装好，能够方便的使用了）
至此，数据集的数据对制作完毕

4 网络结构

首先看图

这就是作者提出总体架构。
首先是9×9卷积层，然后是四个残差块。每个残差块由两个3×3的层组成，与批量归一化层交替。在剩余块之后是两个两个内核大小为3×3的卷积层，再后面是一个内核大小为9×9的卷积层。转换网络中的所有层都有64个通道，后跟ReLU激活功能，最后一个除外，在最后一个的tanh应用于输出。
判别器CNN包含五个卷积层，每个卷积层之后是LeakyReLU非线性和批归一化。第一，第二和第五卷积层的步长分别为4、2和2。将S型激活函数应用于包含1024个神经元的最后一个完全连接层的输出，并产生由目标DSLR相机拍摄输入图像的可能性。
在代码中，作者通过CNN产生的预测图片和目标图片转化为灰度图，并且将这两张图片拼接送入鉴别器中操作

5 loss函数

作者的loss函数分为多部分，分别在不同的地方进行loss计算，非常有创造性

i)color quality,

直接计欧式距离，但是这里因为作者的数据对并不能完全的进行像素对齐，所以用了Xb和Yb分别为数据对X Y 的模糊图像

k和l分别代表小的矩阵，代码中也有具体给出，G为高斯模糊

参数A = 0.053, µx,y = 0, and σx,y = 3.
这样的话就会对不是完全对齐的图片计算颜色损失带来极大的方便，并且作者给出了这种方法对比MSE损失的结果对比

作者给出的这种颜色损失的计算方法对于小的像素偏移非常不敏感，及时大一点的像素偏移相对MSE扔人具有良好的表现

ii) texture quality --纹理损失

这里用的是交叉熵这个概念，一定程度上代表纹理
FW和D分别表示生成器网络和鉴别器网络

iii) content quality—内容损失

内容损失来自预先训练的VGG网络

ψj（）是在VGG-19 CNN的第j个卷积层之后获得的特征图
Cj，Hj和Wj表示特征图的数量，高度和宽度
FW（Is）表示增强图像

iiii）总变差损失函数

C，H和W是生成的图像FW（Is）的尺寸
由于它的权重相对较低，不损害高频分量，同时在消除椒盐噪声方面也非常有效。

总 loss公式

6 结论说明

这里采用的是质量评测（psnr和ssim）和主观结合的方式进行阐述
质量测评结果：

主观测试采用分组测试的方法，这里不再赘述