思维的碰撞｜小博变换偶遇深度学习

点击上方“计算机视觉工坊”，选择“星标”

干货第一时间送达

标题&作者团队

Abstract

在过去几年里，深度学习方法在图像降噪领域取得了极大的成功。在这篇论文中，作者提出一种稠密自引导小波网络用于真实世界图像降噪。

DSWN的基础架构是一种自顶而下的自引导架构，它可以有效的集成多尺度信息并提取更好的局部特征进行情绪图像重建。更重要的是：该架构仅需少量的参数即可取得优于UNet架构的性能。为避免信息损失并得到更大的感受野，作者提出将小波变换嵌入到DSWN中。此外，作者还将稠密残差学习应用到卷积模块以体征所提网络的特征提取能力。在全分辨率层面，作者采用了一种双分支结构生成最终输出：一个分支关注暗区；一个分支关注亮区。这种双分支结果可以更好的处理不同曝光下的噪声。

最后，作者在BSD68、Kodak24、SIDD+等基准数据集验证了所提方案的性能：所提方案取得了SOTA的降噪性能。

Method

SGN(Self-guided Neural Network)在降噪性能与推理耗时方面取得了均衡。它采用PixelUnShuffle生成多分辨率输入，在低分辨率输入提取大尺度上下文信息并逐渐传播到更高分辨率子网络引导不同尺度下的特征提取。SGN取得了优于UNet的降噪性能同时具有更少的推理耗时与GPU内存占用。

受启发于SGN，作者提出了进一步的改进：(1) 在全分辨率维度采用更多的DCR模块；(2)采用DWT与IDWT替代SGN中的Shuffle操作；(2) 在全分辨率维度，作者设计了一种双分支架构。注：采用DWT与IDWT不仅可以避免信息损失，同时还可以扩大感受野以更好的均衡算法效率和复原性能。

image-20200619144138888

上图给出了本文所提出的DSWN的整体架构图。它是一种自顶而下的自引导架构，它可以更多的探索多尺度信息。低分辨率层面的信息会逐渐传播过渡到更多分辨率层面引导特征提取。

另外，作者提出采用DWT进行分辨率下采样，采用IDWT进行分辨率上采样。在进行卷积之前，采用DWT将输入变换到三个更小的尺度。在全分辨率维度，作者采用双分支结构：一个称之为残差学习分支，一个称之为端到端学习分支。残差学习分支聚焦于亮区噪声学习，而端到端学习分支则聚焦于暗区分支学习。因此，作者在全分辨率维度采用双分支进行一步提升模型的性能(尤其当图像包含不同ISO噪声情形时)。注：在不同分辨率维度，作者添加了不同数量的DCR模块。但总体而言，该网路还是比较小的。

DSWN的顶层在最低分辨率维度提取大尺度信息，它包含两个(卷积+PReLU)模块与一个DCR模块(见下图，它同时采用稠密连接与残差连接以更精确的移除噪声同时缓解梯度消失问题)。

image-20200619144950584

在DSWN的中间两个维度，卷积用于合并不同分辨率下提取的特征信息。中间两个维度的网络架构与顶层的网路架构类似。在全分辨率维度，作者添加了更多的DCR模块以增强网络的特征提取性能。

在残差分支方面，DSWN具有一个全局残差连接；在端到端分支后面添加了一个Tanh激活函数。最终的输出是两个分支的简单相加平均。通过添加额外的梯度损失，该网络可以获得更好的纹理细节且不会降低PSNR。

Experiments

训练数据：DIV2K+AWGN(加性高斯白噪声)、SIDD。

测试数据：BSD68，Kodak24，SIDD+。

在训练过程中，随机裁剪训练数据块，网络采用Xavier初始化，优化器为Adam，学习率为0.0001，合计训练300epoch，在200epoch时学习率减半，在250epoch时学习率x0.2.损失函数为L1。

下表与图示给出了所提方法与其他SOTA方法在BSD68数据集上的PSNR指标对比与视觉效果对比。从表中指标可以看到：DSWN具有更高的PSNR与SSIM指标；从图示效果可以看到：DSWN具有更好的纹理视觉效果。所提方法可以同时处理不同噪声强度同时更好的保持纹理细节。

image-20200619145959771

image-20200619150030323

下表与图示给出了所提方法与其他SOTA方法在Kodak24数据集上的指标对比与视觉效果对比。毋庸置疑，所提方法再一次取得更好的PSNR指标与视觉效果。

image-20200619150620255

下表与图示给出了所提方法与其他SOTA方法在SIDD+数据集上的性能对比。所提方法具有更高的PSNR指标，同时可以移除位置类型噪声。所提方法不仅可以处理正常曝光下的噪声，还可以处理欠曝光下的噪声。

image-20200619150806530

image-20200619150738138

image-20200619154539962

最后作者还提供消融实验对比分析。(1) 下表给出了双分支结构的消融实验分析。作者发现：残差分支倾向于忽略暗区，而端到端分支倾向于忽略亮区。因此两者协同作用时具有最好的性能。

(2) 下表给出了PixelShuffle与DWT下的模型性能对比。可以看到采用DWT具有更好的效果，这可能与频域更适合降噪、小波变换有助于提升感受野有关。

image-20200619155015821

Conclusion

该文提出了一种稠密自引导小波网络用于图像降噪。DSWN的基础架构是一种自顶而下的自引导架构，它可以有效的集成多尺度信息并提取更好的局部特征进行情绪图像重建。更重要的是：该架构仅需少量的参数即可取得优于UNet架构的性能。为避免信息损失并得到更大的感受野，作者提出将小波变换嵌入到DSWN中。

所提方案在AWGN与真实图像降噪方面均表现优异，相比已有方法具有更好的降噪效果且速度更快。

本文仅做学术分享，如有侵权，请联系删文。

下载1

在「计算机视觉工坊」公众号后台回复：深度学习，即可下载深度学习算法、3D深度学习、深度学习框架、目标检测、GAN等相关内容近30本pdf书籍。

下载2

在「计算机视觉工坊」公众号后台回复：计算机视觉，即可下载计算机视觉相关17本pdf书籍，包含计算机视觉算法、Python视觉实战、Opencv3.0学习等。

下载3

在「计算机视觉工坊」公众号后台回复：SLAM，即可下载独家SLAM相关视频课程，包含视觉SLAM、激光SLAM精品课程。

重磅！计算机视觉工坊-学习交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流等微信群，请扫描下面微信号加群，备注：”研究方向+学校/公司+昵称“，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

觉得有用，麻烦给个赞和在看~