Pyramid Real Image Denoising Network

摘要
关键词
引言
建议的方法
- A. Network Architecture
- B. Noise Estimation Stage
- C. Multi-scale Denoising Stage
- D. Feature Fusion Stage
实验
- A. Datasets
- B. Implementation Details
- C. Comparison with State-of-the-arts
- D. Ablation Studies
结论

摘要

虽然深度卷积神经网络(CNN)在建模特定噪声和去噪方面表现出了非凡的能力，但它们在真实世界中的噪声图像上仍然表现不佳。主要原因是现实世界的噪音更加复杂和多样。针对盲去噪问题，本文提出了一种新的金字塔真实图像去噪网络(PRIDNet)，该网络分为三个阶段。首先，噪声估计阶段使用信道注意机制来重新校准输入噪声的信道重要性。其次，在多尺度去噪阶段，利用金字塔池来提取多尺度特征。第三，特征融合阶段采用核选择操作对多尺度特征进行自适应融合。在两个真实噪声照片数据集上的实验表明，我们的方法在定量测量和视觉感知质量方面都可以获得与最先进的去噪器相媲美的性能。 代码可在https://github.com/491506870/PRIDNet.上找到

关键词

实数图像去噪、卷积神经网络、通道注意力、金字塔融合、核选择

引言

图像去噪的目的是从噪声中恢复出干净的图像，这在低层视觉任务中起着至关重要的作用。人们已经对其进行了大量的研究，并在去除统计分布规则噪声(如加性高斯白噪声、散粒噪声)方面取得了接近最优的性能。然而，特定噪声和真实世界的噪声之间仍然存在着巨大的差异。在后者中，噪声来自拍摄环境和图像处理流水线，因此其形式表现出复杂性和多样性。

最近，深卷积神经网络(CNN)在特定噪声的去噪方面取得了显著的进步。毛等人。[1]提出了一种用于高斯去噪的具有对称跳跃连接的深度全卷积编译码框架，称为RedNet。Zhang等人[2]证明，通过合并残差学习和批处理归一化，去噪CNN(DnCNN)可以优于传统的基于非CNN的方法。其他CNN方法[3]、[4]也获得了良好的去噪效果。

然而，一旦上述针对特定噪声的方法推广到真实世界的噪声，其性能可能会比具有代表性的传统方法如BM3D[5]更差。很少有盲去噪方法被提出，特别是对于真实的含噪图像。通过交互设置相对较高的噪声电平，FFDNet[6]可以处理更复杂的噪声。CBDNet[7]进一步利用了噪声估计子网络，使得整个网络可以实现端到端的盲去噪。Yu等人。[8]提出了一种多路径细胞神经网络PATH-RESTORE，它可以为每个图像区域动态地选择合适的路径，特别是对于真实噪声图像的变化的噪声分布。作为Photoshop的商业插件，Neat Image(NI)也用于绑定去噪。

尽管这些方法显著提高了真实图像去噪的性能，但仍有三个问题需要注意：

首先， 在大多数基于CNN的去噪方法中，所有信道特征都被同等对待，而不需要根据其重要性进行调整。在CNN中，不同的特征通道在单个噪声图像的所有区域捕获不同类型的噪声。其中，一些噪声比其他噪声更显著，因此应分配更多的权重。

其次， 前面提到的方法，具有固定的感受野，无法携带不同的信息。参考传统的去噪方法BM3D[5]，它在考虑全局信息的情况下，在整个图像中搜索相似的块。由于特征不限于小面积，不同尺度的感受野可以充分利用层次空间特征。当图像遭受重噪声时，上下文信息将非常有用。

第三， 对于多尺度特征的聚合，大多数现有方法只是以元素求和的方式将它们组合在一起，或者只是将它们连接在一起[1]。尽管包含所有尺度的信息，但它们不加区分地处理不同尺度的特征，忽略了尺度特征的空间和通道特性，因此无法自适应地表达多尺度特征。

为了解决这些问题，我们提出了一个金字塔实像去噪网络（PRIDNet），如图所示。2.这项工作的主要贡献有三方面：

图2.我们提出的网络（PRIDNet）的架构。特征图的通道数如下所示，对于“sRGB”模型，它在括号中，而对于“原始”模型，则没有括号。符号 || 表示连接。
•信道注意：信道注意机制用于提取的噪声特征，自适应地重新校准信道重要性。

•多尺度特征提取：我们设计了一个金字塔去噪结构，其中每个分支都关注一个尺度特征。得益于此，我们可以同时提取全局信息和保留局部细节，从而为后续的全面降噪做好准备。

•特征自适应融合：在级联的多尺度特征中，每个通道代表一个尺度特征。我们介绍了一个内核选择模块。具有不同卷积核大小的多个分支通过线性组合进行融合，允许不同的特征映射通过大小不同的核来表达。

建议的方法

在本节中，我们将制定建议的PRIDNet，包括网络架构和三个阶段。

A. Network Architecture

如图2所示，我们的模型包括三个阶段：噪声估计阶段、多尺度去噪阶段和特征融合阶段。输入的噪声图像按顺序由三个阶段处理。由于所有操作都是空间不变的，因此它足够稳健，可以处理任意大小的输入图像。为了避免信息丢失，在馈入下一级（同样是第二级）之前，第一级的输出与其输入串联。

B. Noise Estimation Stage

该阶段侧重于从输入噪声图像中提取鉴别特征，这被视为噪声水平的估计[7]。我们采用了一个普通的五层完全卷积子网络，没有池化和批量规范化，ReLU在每次卷积后部署。在每个卷积层中，特征信道的数量被设置为32（除了最后一层是1或3），滤波器大小为3×3。

在最后一层阶段之前，插入通道关注模块[9]，以明确校准特征通道之间的相关性。如图3所示，信道权重µ=[µ1，µ2，…，µc]的集合∈ R1×1×C是我们的目标，用于重新缩放输入特征图U∈ RH×W×C以生成重新校准的特征。我们首先将U的全局信息压缩为信道描述符ν∈ R1×1×C。然后，接着是两个完全连接的层（FC），中间层的通道数设置为2

通道关注模块的最终输出（表示为U 0∈ RH×W×C）通过

哪里◦ 指Ui之间的通道乘法∈ RH×W和标量校准重量µi，i=1，2，…C。

图3.通道注意力模块架构。GAP表示全局平均池操作。F C1之后有ReLU激活，F C2之后有Sigmoid激活。为了简明起见，我们省略了这些项目。

C. Multi-scale Denoising Stage

金字塔池的思想被广泛应用于场景解析、图像压缩等领域。而据我们所知，它从未被用于图像去噪。周等人。[11]结果表明，CNN的经验感受场比理论感受场小得多，特别是在高层，这意味着在提取特征时没有充分整合全局信息。相反，对于去除覆盖整个图像的噪声，匹配整个图像中具有相似内容的目标块有很大的帮助。

为了缓解这个问题，我们开发了一个五级金字塔。通过五种并行方式，输入特征图被下采样到不同的大小，帮助分支获得相对规模的不同感受野，以同时捕获原始、局部和全局信息。池内核分别设置为1×1、2×2、4×4、8×8和16×16。每个合并特征之后是U-Net[12]，该网络由深度编码解码和跳过连接组成，因为研究表明，连续的上采样和下采样有助于去噪任务。请注意，五个U-Net不共享重量。在这一阶段的最后，通过双线性插值将多级去噪特征上采样到相同的大小，然后连接在一起。

D. Feature Fusion Stage

为了在级联多尺度结果中为每个通道选择大小不同的核，受[13]启发，引入了核选择模块。内核选择模块的细节如图4所示∈ RH×W×C分别由核大小为3、5和7的三个并行卷积进行，得到U’∈ RH×W×C，U’‘∈ RH×W×C和U’''∈ RH×W×C。我们首先通过元素求和来整合所有分支的信息：

然后，通过一个GAP和两个FC来缩小和扩展U，这与通道关注模块中的操作相同，但最终没有Sigmoid。FC2的三个输出，α’∈ R1×1×C，β’∈ R1×1×C和γ’∈ R1×1×C由Softmax操作，它在通道方向上跨分支应用，如选通机制：

其中，α、β和γ分别表示U’、U’和U’’的软注意向量。注意，αc是α的第c个元素，同样是βc和γc。最终输出特征图V通过将各种核与其注意力权重相结合来计算：

其中，α、β和γ需要满足αc+βc+γc=1，且V=[V1，V2，…，Vc]，Vc∈ 最后，我们利用1×1卷积层将维度压缩为1或3，以进行特征融合。

实验

A. Datasets

对于训练，我们使用了来自智能手机图像去噪数据集（SIDD）的原始RGB空间和sRGB空间中的320个图像对（噪声和干净）[14]。我们在SIDD中设置了另外1280个256×256裁剪的40幅图像作为我们进行消融研究的验证数据。

为了进行测试，我们采用了两个广泛使用的基准数据集：DND[15]和NC12[16]。DND是50幅真实高分辨率图像的基准，由消费级相机拍摄。由于只向公众提供了噪声图像，因此通过在线提交系统1获得了去噪结果的PSNR/SSIM。NC12包含12幅噪声图像，我们仅显示去噪结果用于定性评估，因为地面真实清洁图像不可用。

B. Implementation Details

我们训练了两个模型，一个以原始图像为目标，另一个以sRGB图像为目标。整个网络以L1损耗优化，并由Adam以β1=0.9、β2=0.999和？=10−8.所有模型都用4000个时期训练，其中前1500个时期的学习率为10−4，然后是10−5来微调模型。我们将补丁大小设置为256×256，“原始”模型的批量大小设置为2，而“sRGB”模型的批大小设置为8。所有实验都是在NVIDIA GTX 1080ti GPU上用TensorFlow实现的。

C. Comparison with State-of-the-arts

DND基准的定性和定量结果。根据网站提供的测试协议和工具，我们处理了50幅真实噪声图像中的1000个边界框。我们的模型相对于先前工作的性能如表1所示。请注意，我们没有考虑未发表或匿名的工作，尽管他们已经发布了结果。我们可以看到，尽管现有的非盲高斯方法（如TNRD[17]、BM3D[5]和WNNM[19]）是由噪声水平提供的，但它们的性能仍然很差，这主要是由于AWGN和真实噪声之间存在很大差异。CBDNet[7]和路径恢复[8]特别针对真实图像的盲去噪进行了训练，从而产生了有希望的结果。我们的PRIDNet实现了大的PSNR增益（即。，∼ 原始为0.9dB，以及∼ sRGB为0.4dB）。至于运行时间，PRIDNet处理512×512图像大约需要0.05s。

TABLE1 我们的模型在DND上的定量性能与其他已发表的技术进行了比较，并根据SRGB-PSNR进行了排序。
各种方法的视觉去噪结果如图1和补充材料所示。CBDNet[7]仍然包含一些噪声。DnCNN[2]存在边缘失真。BM3D、N3Net和Path Restore在去噪结果中引入了一些颜色伪影，而FFDNet[6]存在过度平滑以及细节和结构丢失的问题。与这些现有技术相比，我们的方法（PRIDNet）通过去除几乎所有的噪声，同时保留整个图像的更精细的纹理细节，实现了更好的去噪性能。

NC12的定性比较。我们考虑的比较方法包括盲去噪方法（NC[16]、NI和CBDNet[7]）、盲高斯去噪方法[DnCNN[2]）和非盲高斯去噪声方法（BM3D[5]和FFDNet[6]）。对于非盲方法，我们利用NI来估计噪声水平std，以便它们能够实现最佳的视觉质量。由于篇幅有限，我们在补充材料中保留了上述方法的视觉比较。

D. Ablation Studies

我们进行了四次消融实验，以评估PRIDNet中三个关键组件的重要性。所有消融实验均根据SIDD的验证数据进行评估[14]。从表II中我们可以得出结论，金字塔特征处理的设计对于我们的真实图像去噪任务来说是最关键的，可以提高0.22dB。与普通网络相比，三个关键组件的组合有效地提高了0.39dB的网络性能。

TABLE2 我们的模型在SIDD验证数据集上的消融研究。

结论

本文提出了一种用于真实图像盲去噪的PRIDNet。提出的网络包括三个连续的阶段。第一阶段探讨了专题频道的相对重要性。在第二阶段，发展了金字塔合并来对多尺度特征进行去噪。最后，引入自适应核选择操作进行特征融合，定性和定量实验表明，该方法取得了较好的融合效果。

Pyramid Real Image Denoising Network-金字塔实像去噪网络相关推荐

【论文阅读笔记】Pyramid Real Image Denoising Network
论文简介本文是19年的论文,网络名为PRIDNet.代码地址为https://github.com/491506870/PRIDNet.在1080ti上,PRIDNet处理512x512图像需要 ...
CVPR2019文章解读 Pyramid Feature Attention Network for Saliency detection 用于显著性检测的金字塔特征注意网络
Pyramid Feature Attention Network for Saliency detection 摘要显著性检测是计算机视觉领域的基本挑战之一,怎么有效去提取特征非常关键,目前的一些 ...
RePCD-Net: Feature-Aware Recurrent Point Cloud Denoising Network (ijcv 22)
RePCD-Net: Feature-Aware Recurrent Point Cloud Denoising Network 论文原文 Motivation 局部邻域的大小对去噪性能有显著影响:大 ...
《Invertible Denoising Network: A Light Solution for Real Noise Removal 》论文阅读
摘要可逆网络在图像去噪方面有各种各样的好处,因为它们是轻量级的,信息无损的,并且在反向传播过程中节省内存.然而,应用可逆模型去噪具有挑战性,因为输入是有噪声的,而反向输出是干净的,遵循两种不同的分布 ...
Semi-supervised Semantic Segmentation with Error Localization Network(基于误差定位网络的半监督语义分割 )
Semi-supervised Semantic Segmentation with Error Localization Network(基于误差定位网络的半监督语义分割 ) Abstract 本文 ...
《Network Warrior中文版—思科网络工程师必备手册》
<Network Warrior中文版-思科网络工程师必备手册 >china-pub推荐适合从事计算机网络技术.管理和运维工作的工程技术人员阅读. 可以让有经验的网络工程师和管理员巩固并 ...
6个步骤，建立一个哥特之国Gothland莱比锡哥特节Wave-Gotik-Treffen哥特The Network State中文翻译网络国家+web3.0社区+DAO社区+NFT元宇宙+个人主权
6个步骤,建立一个网络哥特之国Gothland# 2.0 从今以后,别再过你应该过的人生,去过你想过的人生吧!--梭罗建立一个新型网络哥特之国的6个步骤: 1. 建立了一个哥特社群. 2. 创建一个 ...
NFS （Network File System）网络文件系统
文章目录 1.nfs简介 1.1应用场景 2.nfs工作机制 2.1体系组成 2.2实现原理 2.3工作机制 2.4相关配置参数安装步骤 1.nfs简介主要用于网络中linux或unix计算机之间 ...
GAN相关：PAN（Perceptual Adversarial Network）/ 感知对抗网络
GAN相关:PAN(Perceptual Adversarial Network)/ 感知对抗网络 Perceptual Adversarial Networks for Image-to-Image ...

Pyramid Real Image Denoising Network-金字塔实像去噪网络