超分辨率图像重建-拉普拉斯金字塔(laplacian pyramid)

《Deep Laplacian Pyramid Networks for Fast and Accurate Super-Resolution》笔记，有什么理解错误的地方，欢迎大家指正。

首先，先看摘要和结论：大概知道这篇paper的关键字：LapSRN，逐步重建，多尺度预测，新的loss函数，反卷积层…

摘要：

我们提出了拉普拉斯金字塔超分辨率网络(LapSRN)，逐步重建高分辨率图像的子带残差。在金字塔的每一级，模型以粗分辨率特征图作为输入，预测高频残差，使用反卷积层向上采样到更细的级别。网络通过逐步重建，在一次前馈过程中产生多尺度预测，可以更好的利用计算资源。

结论：

这篇文章，提出了一个带有拉普拉斯金字塔框架的深卷积网络，用于单图像超分辨率重建。模型以由粗到细的方式逐步预测高频残差，用学习的反卷积层特带预先定义的双三次插值，并用鲁棒性更好的loss函数优化网络，降低了计算的复杂度，且表现的比其他SR算法好。

正文开始。

1 介绍

日常操作：首先，感谢前辈们做出的成果，SRCNN、VDSR、DRCN……，再委婉表明虽然前辈们的成果很好，但是仍然存在问题：

（1）之前的方法都是利用预先定义好的上采样，如双三次插值，这会增加不必要的卷积运算和产生重构伪影；

（2）之前的方法都是采用L2 loss函数，这会不可避免的产生模糊预测，因为L2 loss函数不能找到由低分辨率LR到高分辨率HR的潜在的多模态分布。因为L2 loss函数使重构结果过于平滑；

（3）之前的方法不能产生中间结果，且都是在一次上采样的过程中重建HR图像，增加了对大尺度因子的训练难度。
将前辈们的问题指出后，表明我们可以改进这些问题，于是顺理成章的提出一个新的网络结构：拉普拉斯金字塔框架。这个网络结构直接将LR 图像作为输入，从粗到细逐步预测残差。在每一层，我们首先采用一系列卷积层去抽取特征；然后，再使用反卷积层将特征映射上采样到一个更细的级别（我理解的是继续上采样）；最后，再使用卷积层预测子带残差（上采样图像和原始HR图像在各层次上的差异）。利用每一层预测的残差，通过上采样和加法运算，有效重建HR图像。由于提出的LapSRN由一系列子网络组成，我们使用鲁棒性更好的Charbonnier损失函数训练网络，以一个端到端的方式。
网络结构如下：

注：红色箭头——卷积层；蓝色箭头——反卷积层（上采样）；绿色箭头——加法操作；橘色箭头——循环操作

与前人的CNN网络有三个不同之处：

准确率：提出的LapSRN直接从LR图像中提取特征，并联合优化具有深卷积层的上采样filters来预测子带残差。Charbonnier损失函数可以更好的处理器异常值，所以performance更好。
速度：我们的LapSRN包含快速处理和高容量的深层网络
渐近重构Progressive reconstruction：我们的模型通过拉普拉斯金字塔的渐进重建，在一次前馈过程中产生多个中间SR预测。在计算资源有限的情况下，应用场景更广，更加灵活。

我们的方法与之前给予CNN的方法有三个不同：

我们使用卷积和反卷积将残差学习和上采样filter联合起来。利用所学习的上采样filters，不仅有效地抑制了由双三次插值引起的重构伪影，而且大大降低了计算复杂度。
使用鲁棒性更好的Charbonnier损失函数代替L2损失函数优化深度网络，它可以处理异常值和提高重建精度的损失。
由于提出的LapSRN逐步重构HR图像，相同的模型可以用于不同尺度因子的应用（就是可以适用于不同倍数的放大）。

2 Related Work

3 Deep Laplacian Pyramid Network for SR

3.1 网络结构

网络结构如上所示。模型直接将LR图像作为输入，逐步预测log2 S级的剩余图像，S是缩放因子。例如，网络由3个子网络组成，适用于8倍尺度下的超分辨重建。主要包括2个部分：（1）特征提取；（2）图像重建

（1）特征提取Feature extraction：在s级，特征提取分支由d个卷积层和1个反卷积层组成，以2为尺度进行上采样。每个反卷积层的输出连接到2个不同的layers：向下的箭头表示表示每次上采样到一定程度，即将学习到的残差结果输出，得到对应的重构图像，向右的箭头表示同时继续上采样。注意：我们仅仅使用了1个反卷积层，提取粗分辨率下的特征，生成更细分辨率下的特征映射。与现有的特征提取网络相比，计算复杂度降低。注意，低级别的特征表示与高级别的共享，因此可以增加网络的非线性，便于学习复杂的映射。

（2）图像重建Image reconstruction.：输入图像通过反卷积层上采样到尺度为2，我们使用双线性内核初始化这个层，并让它和其他层联合优化。上采样的图像和从特征提取分支产生的预测残差图像联合，产生一个高分辨率的输出图像
将s级输出的HR图像送入s+1级的图像重建。整个网络是一系列的CNN连接，每一级的结构都相似。

3.2 loss函数

其中：x表示LR图像，y表示HR图像，r表示残差，s表示对应的level，也就是scale，在level s下，期望的HR输出为ys=xs+rs；用线性插值将HR图像y imresize为对应大小的ys；该loss函数并非如传统L2 loss函数，而是如图中所示；N是每个batch中的图片数量，L为金字塔结构的level数量。
注意：每个level都有一个对应的loss，训练过程中的目的是将各个level的loss的和降低

3.3 实施和训练细节
在LapSRN中，每个卷积层由64个3X3的filters组成，使用He等人的方法初始化filters。反卷积层由1个4X4的filters组成，通过双线性filter（bilinear filter.）初始化。所有的卷积层和反卷积层后都是负数区域的斜率为0.2的LReLUs。在应用卷积之前，我们在边界上填充0，以保证特征映射的大小与每个级别的输入相同。

使用91训练集和200幅来自Berkeley Segmentation Dataset的图像作为训练集。在每一个batch，随机sample64个大小为128X128的patch，一个epoch由1000步BP反向传播。通过3个方法扩充训练集：缩放-scaling；旋转-rotation；翻转-flipping。依据现有的方法，通过双三次下采样（bicubic downsampling）的方法生成低分辨率训练patches。

参数使用Momentum更新，公式：

其中：动量参数v=0.9，权重衰减为1e-4；所有layer的学习率为1e-5，每50个epoch减少2倍。

4 实验结果

4.1 模型分析
不同结构的作用。
残差学习：figure 2。为了验证残差学习的效果，我们去掉了图像重建分支，直接对各个层次的HR图像进行预测。如蓝线所示，去掉图像重建分支后，收敛慢，波动大。
Loss函数：figure 2。绿线所示，用L2loss函数代替Charbonnier loss函数后，它需要迭代更多次以达到和SRCNN的性能；且有更多的振铃现象（ringing artifacts）
金字塔结构：table 2。能使性能得到适度的提高
网络深度：table 3。越深性能越好，但是需要和计算速度进行平衡。对于2X和4X，d=10，对于8X，d=5.

实验结果这部分主要就是对比自己的实验结果和前辈的实验结果的对比（吊打），都在图上，不在赘述。

这里也贴出GitHub上的代码链接：https://github.com/phoenix104104/LapSRN

完结，撒花！希望在学习的朋友可以一起交流。