Real-world Noisy Image Denoising: A New Benchmark

摘要
关键词
介绍
现有数据集
建议的数据集
- A. Motivation
- B. The Dataset Construction Process
- C. Summary of the Dataset
实验
- A. Benchmark Datasets
- B. Comparison Methods
- C. Results and Discussion
结论

摘要

以往的图像去噪方法大多针对加性高斯白噪声(A-WGN)。然而，随着计算机视觉技术的进步，现实世界中的图像去噪问题日益突出。为了在实现并行真实世界图像去噪数据集的同时促进这一问题的研究，我们构建了一个新的基准数据集，该数据集包含了不同自然场景的综合真实世界噪声图像。这些图像是由不同的摄像头在不同的摄像头设置下拍摄的。我们在新的数据集和以前的数据集上对不同的去噪方法进行了评估。大量的实验结果表明，最近提出的基于稀疏或低阶理论的针对真实噪声去除的方法取得了比其他竞争方法更好的去噪性能和更好的鲁棒性，并且新提出的数据集更具挑战性。构建的真实照片数据集在https://github.com/csjunxu/PolyUDataset上公开提供，供研究人员研究新的真实图像去噪方法。在本文的下一个版本中，我们将在我们的新数据集的真实照片中添加更多关于噪声统计的分析。

关键词

图像去噪、真实世界噪声图像、基准数据集

介绍

在过去的几十年里，人们研究了CCD和CMOS图像传感器的真实噪声的统计特性[1]-[5]。现实世界中的噪声有五个主要来源，包括光子散粒噪声、固定图案噪声、暗电流、读出噪声和量化噪声等。散粒噪声是一种不可避免的噪声源，它是由光子到达传感器的随机过程引起的。光子的到达可以用泊松过程来建模，在泊松过程中到达传感器的光子数量服从泊松分布。这种类型的噪声与特定像素的平均强度成正比，并且在整个图像中不是稳定的。固定图案噪声包括像素响应非均匀性(PRNU)噪声和暗电流非均匀性(DCNU)噪声。在PRNU噪波中，对于固定的光级别，每个像素的输出级别或响应略有不同。造成PRNU噪声的主要原因是相邻像素的光线和颜色混合的损失。DCNU噪声来自传感器芯片内的电子设备，它是由于热搅拌而产生的，即使没有光线到达相机传感器也是如此。读出噪声和量化噪声来自测量信号的离散化。读出噪声是在电荷-电压转换过程中产生的，这本质上是不准确的。当读出的值被量化为整数时，产生量化噪声。最终像素值是原始像素值的离散化。其他噪声包括诸如传输效率之类的特定于电荷耦合器件的源，以及诸如列噪声之类的特定于CMOS的源。

与加性高斯白噪声(AWGN)不同的是，真实世界的噪声是信号相关的，不能用显式分布来建模。在摄像机成像流水线中进行处理后，变得更加复杂。因此，与合成AWGN相比，从真实的噪声图像中去除噪声是一项更具挑战性的任务。实际图像去噪的另一个问题是如何评价去噪图像的质量。主观评价图像质量需要大量的主观因素参与评价实验，耗时长。另一种选择是求助于客观评估。然而，由于现实世界中的噪声图像没有对应的地面真实图像，因此很难对去噪图像的质量进行客观评价。另一种选择是求助于一些盲图像质量评估(BIQA)方法[6]、[7]。然而，这些Biqa方法大多是基于常用的数据集，如TID数据集[8]和实时IQA数据集[9]，它们的图像具有与真实世界噪声图像非常不同的特性。

最近，已经进行了几项工作来解决捕获的真实世界噪声图像中缺少相应“地面真相”图像的问题。在[4]中，构建了一个包含11个场景的数据集，用于分析相机成像管道中产生的真实世界噪声的特性。然而，该数据集在几个方面受到限制。它只包含几个产品包装上的印刷图片，几乎没有实物。其他问题包括强度变换不建模异方差噪声，并且低频偏差未被去除等。在[3]和[5]中，使用低ISO值（例如，ISO＝100）捕获捕获的真实世界噪声图像的相应“地面真实”图像，并使用其他后处理步骤，例如线性强度变化、空间未对准、，然而，具有低ISO值的“地面真实”图像可能具有与在高ISO值（例如，ISO＝6400）下捕获的相应真实世界噪声图像稍微不同的照明。此外，后处理步骤可能会在“地面真相”图像中引入人类偏见。[10]的工作提出了一种类似于[5]的不那么繁琐的捕获协议，其中静态场景的多次曝光用于在时间上聚集每个像素点的测量值。[11]、[12]的工作提出用近似恒定的辐射照射传感器，然后在空间上聚集强度测量值。这对于不同的辐射水平重复，以捕获噪声的强度依赖性。相反，在[5]中，所采用的Tobit回归允许通过仅访问两个图像来估计噪声过程的参数。

在这项工作中，我们使用合理获得的相应“地面真相”图像构建了真实世界噪声图像的大数据集。其基本思想是多次（例如，500次）捕捉相同且不变的场景，并计算其平均图像，该平均图像可以大致作为真实世界噪声图像的“地面真实”图像。该策略的合理性在于，对于每个像素，随机生成大于或小于0的噪声。多次采样同一像素并计算平均值将近似真实像素值，并显著减轻噪声。

现有数据集

目前，有一些数据集可用于对真实世界噪声图像的去噪方法进行基准测试[3]–[5]。

据我们所知，雷诺阿数据集[3]是第一个关于真实世界噪声图像的数据集，其中包含“地面真实”噪声图像。该数据集中使用的摄像头是佳能起义军T3i、佳能S90和小米T3i。作者用不同的ISO值拍摄了静态场景的照片。但是，后处理不那么精细。图像对似乎表现出空间不对齐，强度变换不会对异方差噪声建模，并且不会消除低频偏差。在[3]中，已经进行了实验来验证忽略这些因素会降低数据集的用处。在特定的ISO水平上测量传感器的噪声特性通常是有用的。有人建议[3]用近似恒定的辐射照射传感器，然后在空间上聚集强度测量。对于不同的照射水平重复这一过程，以捕捉噪声的强度依赖关系。在[3]中还提出了一种不那么繁琐的捕获协议，其中使用静态场景的多次曝光来在时间上聚合每个像素位置的测量结果。表一列出了该数据集的详细说明。

文献[4]报道了这一方向的第二个工作，它涉及11个静态场景。收集了真实世界的噪声图像和相应的“地面真实”图像。对于每个场景，捕获500张JPEG图像，并将这500张图像的平均图像粗略地视为“地面真实”图像。在[13]、[14]中也使用了利用时间图像的平均值作为“地面真实”图像，但作者没有建立基准数据集。在[4]的数据集中，大部分图像的分辨率为7630×4912，由尼康D800(ISO=1,600、3,200和6,400)、尼康D600(ISO=3,200)和佳能5D Mark III(ISO=3,200)捕获。共有15个大小为512×512的裁剪区域用于评估不同的去噪方法。这个数据集的主要问题是，捕获的图像几乎都是打印的场景，具有相似的噪声统计特性。相机设置(如ISO值)也有一定的限制。表二列出了这一数据集的详细说明。

[5]中报告了最近的一个基准。与[3]和[4]中的前两个数据集不同，[5]使用Tobit回归来通过仅访问两个图像来估计噪声过程的参数。为了通过在真实照片上开发基准降噪技术的方法来避免不切实际的设置，[5]的作者使用不同的ISO设置和快门速度捕获了50对不同的图像。使用高ISO和更快快门速度捕获的图像被视为真实世界的噪声图像，而使用低ISO和较慢快门速度拍摄的图像被大致视为“地面真实”图像。为了获得更好的“基本真相”，在[5]中设计了仔细的后处理。作者校正了空间偏差，通过基于新的异方差Tobit回归模型的线性强度变换来处理不准确的曝光参数，并消除了由微小照明变化引起的残余低频偏差等。提出的数据集称为达姆施塔特噪声数据集（DND）[5]，其中用于捕获数据集的相机包括Sony A7R、Olympus E-M10、Sony RX100 IV和Huawei Nexus 6P。作者使用免费软件Dcraw从捕获的图像中提取线性原始强度，然后通过缩放黑白级别将图像强度归一化为[0,1]的范围。一个有趣的发现是，在合成噪声图像上表现良好的各种去噪技术在真实照片上明显优于BM3D[15]。该基准描述了与科学文献中常用的评估情景严重背离的现实评估情景。该数据集的详细描述列于表三。

建议的数据集

A. Motivation

如前所述，现有的真实世界噪声图像数据集[3]–[5]在评估现有和未来的图像去噪方法方面存在若干局限性。这些限制包括相机品牌、相机设置和拍摄的场景等。
相机品牌： 在RENOIR数据集[3]中，作者使用了两个不同的相机品牌，佳能（T3i和S90）和小米（Mi3）进行图像采集。在数据集[4]中，作者还使用了两个相机品牌，即佳能（5D）和尼康（D600和D800）进行图像采集。在DND数据集[5]中，作者使用了三种不同的相机，包括索尼（A7R和RX100 IV）、奥林巴斯（E-M10）和华为（Nexus 6P）。

相机设置： 在RENOIR数据集[3]中，通过将ISO设置为100来捕获“地面真实”图像。噪声图像中的ISO设置如下：对于小米Mi3，ISO设置为1600或3200；对于佳能S90，ISO设置为640或1000；对于佳能T3i，ISO设置为3200或6400。对于除了佳能S90的参考图像之外的所有情况，快门速度设置为自动。对于佳能S90，快门速度设置为3.2秒。在数据集[4]中，使用尼康D800拍摄图像时使用了三种不同的ISO（例如1600、3200和6400），而佳能5D和尼康D600使用了ISO=3200。DND数据集[5]中，ISO的范围为100∼ 索尼A7R为25600，200∼ 奥林巴斯E-M10125为25600∼ 索尼RX100 IV为8000，100∼ 华为Nexus 6P分别为6400和6400。

捕捉场景： RENOIR数据集[3]为每个相机品牌捕捉了40个场景，数据集中总共包括120个场景。然而，该数据集中的噪声图像和相应的“地面真实”图像具有明显的色差，这在很大程度上是由不一致的照明条件造成的。数据集[4]仅包含11个室内场景，这些场景由相似的内容和对象重叠。尽管包含50个不同的场景，但DND数据集中的“地面真相”图像[5]尚不可访问。这限制了所提出的去噪方法对视觉质量的评估。

讨论： 在上述因素中，当我们拍摄真实世界的嘈杂图像时，相机设置非常重要，而相机品牌和拍摄的场景相对容易改进。相机设置主要包括ISO值、快门速度和光圈等。通常，快门速度越快，当我们固定其他设置时，拍摄的图像越暗，反之亦然。同样，当我们固定其他设置时，ISO值（或光圈）越小，捕获的图像越暗，反之亦然。

为了使图像不受环境变化（例如，物体运动、照明变化、相机抖动等）的影响，应尽可能快地设置快门速度。例如，索尼A7II相机的快门速度在1/80000秒到30秒之间。给定合适的光圈和ISO，当我们将快门速度设置在1/100秒和1秒之间时，可以在正常照明下拍摄图像。光圈可以设置为任何值，只要它在合理的范围内。索尼相机的光圈介于F3.5和F22之间。将光圈设置在F3.5和F15之间可以让我们在固定的快门和ISO范围下获得正常照明的图像。在我们的拍摄过程中，我们将快门和光圈固定在合适的范围内，并根据给定的相机调整ISO值。通常，当ISO较高时，噪声水平会较高。我们通过固定间隙将ISO值从低值设置为高值，以更全面地评估去噪方法。

为了分析ISO、快门速度和光圈如何影响捕获图像的内容和照明，我们使用不同的相机设置进行了一些启发式实验。在图1中，我们展示了使用不同相机设置捕获的一些图像。比较图1（a）和图1（b）（或图1（g）和1（i）），我们可以发现，孔径越大，照明越暗。比较图1（b）和图1（c）（或图1（g）和1（h）），我们可以发现，较慢的快门会产生更亮的照明。比较图1（b）、图1（d）、图2（e）、图3（f）和图4（g），我们可以发现当ISO更高时，照明变得更亮。此外，给定固定光圈和快门，当ISO设置在400和3200之间时，相机拍摄的图像可以避免过度曝光或曝光不足。当ISO=200时，拍摄的图像会出现曝光不足的问题，而当ISO=6400时，拍摄图像会出现过度曝光的问题。然而，这可以通过改变光圈和快门速度来缓解，最终我们可以在正常照明下获得图像。

图1：索尼A7 II相机在不同（ISO、快门速度、光圈）设置下拍摄的图像。

给定固定的快门速度和光圈，提高相机灵敏度将产生比降低快门速度更强的噪声。在构建数据集时，我们只更改了ISO值，同时使用合适的值固定快门速度和光圈，以确保图像不会出现过度曝光或曝光不足的情况。人们普遍认为，当场景处于较暗的光线条件下时，图像中的噪声会变得更强。

B. The Dataset Construction Process

为了缓解先前数据集的局限性[3]–[5]，我们建议构建一个新的数据集，该数据集可以：1）包含更多的相机品牌；2）包含更精心设计的相机设置；3）使用真实对象捕捉更多真实世界场景；4）捕获原始数据和sRGB数据以进行比较分析。捕获的图像以原始数据和JPEG格式存储，无需压缩。对于每个场景，我们将其捕捉500次。图2显示了我们如何在室内环境中捕获静态场景的图像。相机由三脚架固定。按下按钮后，通过快门释放自动完成数据采集。因此，在一个场景的500幅图像的获取过程中，几乎可以避免未对准问题。我们使用不同的相机设置拍摄图像。相机的设置基于以下规则。首先，快门速度应比荧光灯的闪烁速度快，否则灯光的闪烁将使捕获图像的整体亮度大不相同。其次，我们设置快门速度、光圈和ISO值，以确保场景处于自然照明状态。此外，由于数字单镜头反光相机（DSLR）使用机械快门，因此每次拍摄的快门速度略有不同。这种微小的差异导致不同镜头的亮度略有不同。然而，我们忽略了数据集中的这一小差异，如[4]所示。

图2：静态场景是用三脚架固定的相机拍摄的。按下按钮后，通过快门释放自动完成数据采集。

更多相机品牌： 在我们的数据集中，我们使用了三个相机品牌的5台不同相机，包括佳能（Mark 5D、80D、600D）、尼康（D800）和索尼（A7 II），以捕捉真实世界的噪声图像。根据最近的一项调查[16]，这三个相机品牌占据了50个最常用的相机镜头组合中的48个。因此，我们的数据集比以前的相机品牌数据集更全面。

更多相机设置： 在我们的新数据集中，每个场景都使用6种不同的ISO设置进行拍摄，例如800、1600、3200、6400、12800和25600。对于每个ISO设置，我们都会仔细调整快门速度和光圈，并选择其他合适的相机设置，以使拍摄的场景既不会曝光不足也不会曝光过度。随着ISO的增加，捕获图像的亮度也会增加，我们相应地调整快门速度和光圈，以捕获具有正常亮度的图像。例如，为了使ISO=25600拍摄的图像正常曝光，我们将快门速度设置为1/320秒，光圈设置为F10.0。

更多拍摄场景： 我们在室内正常照明条件、黑暗照明条件和室外正常照明条件下拍摄图像。我们捕捉到的场景也非常复杂（包括建筑物、教室、咖啡厅和户外场景等）。场景中的对象包括书籍、钢笔、瓶子、盒子和欢乐等。总之，我们在不同的相机设置中使用5台不同的相机拍摄了总共40个不同的场景，包括佳能5D Mark II拍摄的12个场景、佳能80D拍摄的5个场景、Canon 600D拍摄的3个场景、尼康D800拍摄的13个场景、索尼A7 II拍摄的7个场景。由于图像尺寸较大（3000×3000），我们从这些图像中裁剪一些区域，并获得100个大小为512×512的区域。

去除离群图像： 离群图像是那些与基础图像有错位或不同照度的图像（我们通常选择500张照片中的第一张作为基础图像）。在[4]的数据集中，作者没有移除未对准或不同亮度的图像。在DND数据集[5]中，作者校正了每个图像的未对准。然而，该操作在很大程度上取决于未对准检测方法和校正方法，这可能会使校正图像不太自然。此外，DND数据集[5]将使用低ISO拍摄的图像作为“地面真实”，并将使用高ISO拍摄的噪声图像线性转换为“地面真实性”图像的尺度。在我们看来，这一步骤是有问题的，因为图像像素不是线性依赖于ISO值的。在我们的数据集中，我们浏览捕获的图像，并移除具有明显错位或不同亮度的异常图像。对于每个场景，邀请三名志愿者依次进行筛选，剩余的图像用于计算“地面真相”图像。

生成“地面真实”图像： 当相机设置为ISO=100时，生成RENOIR数据集[3]的“地面真实性”图像，而其他设置与噪声图像的设置相同。数据集[4]的“地面实况”图像是通过在相同摄像机设置下对同一场景中捕获的静态图像进行平均而生成的。DND数据集[5]的“地面真实”图像主要通过使用低ISO值（例如，ISO=100）生成，其他后处理步骤包括线性强度变化、空间错位和低频残差校正等。在我们的数据集中，由于其简单性，我们采用了与[4]方法相同的策略。我们为许多（500∼ 1000）次，并对捕获的图像求平均以获得“地面真实”图像。

我们首先通过仔细的主观评估来去除未对准的图像。具有几个像素位移的图像将被删除。在此阶段之后，我们将移除亮度不一致的图像。亮度受两个因素影响。一是环境的照明条件。另一个是当场景处于相对暗的照明条件下时，相机将自动补光。由于我们多次拍摄场景，尽管在相同的照明条件下拍摄，但有些镜头可能具有不同的照明。为了去除具有异常亮度的图像，我们首先从每个图像中均匀采样10000个像素（像素位于100个等距采样行和100个等距离采样列上），然后计算10000个像素的平均亮度。每个捕获的图像将具有一个表示其平均亮度的值。我们按降序对这些值进行排序。具有最低或最高平均亮度的图像将被称为离群图像。我们移除这些图像，直到最低和最高平均亮度足够接近平均亮度的“中心”。这里，“中心”表示分类平均亮度的中值。这样，比具有“中心”亮度的“中心”图像暗得多或亮得多的图像将被删除，并且剩余的图像在亮度上彼此非常接近。剩余的图像将被平均以获得平均图像，该平均图像将用作每个场景的“地面真实”图像。

C. Summary of the Dataset

在我们构建的数据集中，我们从40个不同场景中捕获了具有不同内容和对象的图像。图3显示了我们数据集中真实世界噪声图像的一些示例。这些图像涵盖了不同类型的室内场景和景观物体等。

图3：我们新构建的数据集中的一些示例图像。

由于我们捕获的图像尺寸非常大，我们从40个场景中裁剪100个大小为512×512的区域，以评估现有的图像去噪方法。图4列出了裁剪区域及其对应的“地面真实”图像的一些示例。此外，可以看到，“地面真实情况”图像比噪声图像包含的噪声少得多，并且具有更好的视觉质量。因此，该数据集为我们评估图像去噪方法提供了一个良好的平台。关于相机和相机设置的详细描述列于表IV。我们可以看到，在我们的数据集中，ISO值比以前的数据集更全面[3]–[5]。

图4：在我们构建的数据集中，“地面真相”图像的一些裁剪区域（左）及其对应的噪声图像（右）。

表四：新数据集中使用的相机和相机设置。

实验

A. Benchmark Datasets

基准数据集

为了更好地评估现有图像去噪方法的有效性，我们将竞争方法应用于现有数据集[4]、[5]和我们构建的新数据集。由于[3]中捕获的真实世界噪声图像与相应的“地面真实”图像具有明显的色差，因此我们不评估该数据集上的图像去噪方法。

[4]中提供了数据集1，其中包括佳能5D Mark 3、尼康D600和尼康D800相机拍摄的11个静态场景的噪声图像。对大小为512×512的15个区域进行裁剪，以评估不同的去噪方法。

数据集2被称为达姆施塔特噪声数据集（DND）[5]，它包括由索尼A7R、奥林巴斯E-M10、索尼RX100 IV和华为Nexus 6P拍摄的相同场景的50对不同图像。作者从数据集中的每个图像中裁剪了20个512×512像素的边界框，总共产生了1000个测试作物。然而，“地面真相”图像不是开放访问的，我们只能将去噪结果提交给作者的项目网站，并获得PSNR和SSIM[17]结果。

数据集3是我们构建的数据集，其中包括佳能5D Mark II、佳能80D、佳能600D、尼康D800和索尼A7 II相机拍摄的40个静态场景的噪声图像。对100个大小为512×512的区域进行裁剪，以评估不同的去噪方法。

B. Comparison Methods

利用所提出的数据集，我们对最先进的图像去噪方法进行了全面评估，包括CBM3D[18]、预期补丁对数似然（EPLL）[19]、基于补丁组先验的去噪（PGPD）[29]、非局部集中稀疏表示（NCSR）[21]、加权核范数最小化（WNNM）[23]、多层感知（MLP）[20]、，收缩场级联（CSF）[22]，可训练非线性反应扩散（TNRD）[24]，基于残差网络的方法DnCNN[25]，“噪声诊所”方法[26]，[27]，商业软件Neat Image[28]，以及最近提出的用于图像去噪的外部先验引导内部先验学习方法（引导）[30]，多信道加权核范数最小化（MCWNNM）[31]，三边加权稀疏编码（TWSC）[32]。CBM3D是一种最先进的彩色图像去噪方法，它假设噪声是AWGN。EPLL、PGPD、NCSR、WNNM、MLP、CSF、TNRD、DnCNN是灰度图像AWGN噪声去除的最新方法，我们将这些方法应用于真实彩色图像的每个通道。“Noise Clnic”（NC）是一种盲图像去噪方法，而Neat image（NI）是一套用于图像去噪的商业软件，已嵌入Photoshop和Corel Paint Shop中。此外，DnCNN[25]的方法还可以处理真实世界的噪声图像。最近提出的方法包括Guided、MCWNNM和TWSC，它们被提出用于现实世界中的噪声图像去噪。

比较方法的噪声水平估计。对于CBM3D方法，彩色图像上噪声的标准偏差应作为参数给出。对于EPLL、PGPD、NCSR、WNNM、MLP、CSF和TNRD方法，应输入每个颜色通道中的噪声水平。对于DnCNN方法，它被训练为处理0级范围内的噪声∼ 55.我们在σ=5到σ=50的不同噪声水平（间隙为5）下重新训练鉴别去噪方法MLP、CSF和TNRD（使用作者发布的代码）的模型。通过使用在相同（或最近）噪声水平下训练的模型处理每个信道来执行去噪。r、g、b信道中的噪声水平（σr、σg、σb）通过一些噪声估计方法进行估计[33]、[34]。在本章中，我们使用方法[33]来估计输入彩色图像的每个通道的噪声水平。

C. Results and Discussion

数据集1的结果。表V列出了竞争方法对15幅裁剪图像的平均PSNR和SSIM结果。可以看出，最近提出的引导、MCWNNM和TWSC方法比其他竞争方法表现得更好。图5显示了佳能5D Mark 3在ISO=3200时拍摄的场景的去噪图像。可以看到，TWSC不仅可以获得更高的PSNR和SSIM测量值，而且比其他方法的视觉质量要好得多。

表五：数据集1中15幅裁剪图像的不同去噪算法的PSNR（dB）和SSIM平均结果[4]。

图5：通过不同方法获得的真实世界噪声图像Canon 5D Mark 3 ISO 3200 1[4]的去噪图像和PSNR（dB）/SSIM结果。图像最好在屏幕上放大。

数据集2的结果。在表VI中，我们列出了DND数据集中1000个裁剪图像上竞争方法的平均PSNR和SSIM结果[5]。我们可以看到，在这个数据集上，Guided、MCWNNM和TWSC方法实现了比其他竞争方法更好的性能。请注意，该数据集的“地面真相”图像尚未发布，但可以将去噪图像提交到项目网站，并获得PSNR和SSIM结果。图6显示了Nexus 6P相机拍摄的场景的去噪图像。可以看出，TWSC方法比其他去噪方法产生更好的视觉质量。

表六：数据集2中1000幅裁剪图像的不同去噪算法的PSNR（dB）和SSIM平均结果[5]。

数据集3的结果。表VII中列出了裁剪区域的100张图像的PSNR和SSIM[17]结果。我们可以看到，针对AWGN提出的传统方法对于真实世界的噪声图像不再足够有效。鉴别方法的性能略优于传统方法，但仍不如为真实世界噪声图像设计的方法。最近提出的引导、MCWNNM和TWSC方法比以前的方法工作得更好。图7给出了一些视觉比较，从中可以看出TWSC方法在保持细节的同时去除了大部分噪声。

表VII：在我们的新数据集（数据集3）中的100幅裁剪图像上，不同去噪算法的PSNR（dB）和SSIM的平均结果。

图7：通过不同的方法，我们的新数据集中真实世界噪声图像Canon5D 2.5 160 6400电路3的去噪图像和PSNR（dB）/SSIM结果。图像最好在屏幕上放大。

真实的噪声不是AWGN，这一点在我们的新数据集中是有效的。在图8中，我们计算了真实世界噪声图像数据集上不同ISO值（左）和红色、绿色和蓝色通道（右）的平均噪声水平（σ）。可以看出，随着ISO值的增加，噪声水平将增加。对于彩色图像的每个通道，这种趋势也是正确的。一种可能的相关性是，绿色通道中的噪声水平将低于其他两个通道，即σb>=σr≥ σg。

图8：真实世界噪声图像数据集上不同ISO值（左）和红色、绿色和蓝色通道（右）的平均噪声水平（σ）。

讨论三个数据集的实验结果表明：

•为AWGN设计的方法CBM3D、EPLL、PGPD、NCSR、WNNM、MLP、CSF、TNRD和DnCNN与为真实世界噪声图像去噪开发的方法相比，实现了更低的PSNR和SSIM；

•针对灰度图像设计的去噪方法EPLL、PGPD、NCSR和WNNM会产生很多伪影，因为它们分别处理RGB图像的每个通道[35]。它们不能处理在不同通道以及不同局部斑块中具有不同噪声统计的图像。因此，这些方法可能无法处理具有复杂噪声统计的真实世界噪声图像；

•基于鉴别学习的方法MLP、CSF、TNRD和DnCNN在成对的干净图像和噪声图像上进行训练。这些方法在很大程度上取决于训练数据集，并且在噪声具有与训练图像中的噪声不同的统计信息的图像上会获得较差的性能。此外，判别方法还将对训练集中图像的分辨率（DPI）敏感；

最近提出的去噪方法，即Guided、MCWNNM和TWSC，在数据集上的性能[4]、[5]比以前的去噪法要好得多。从表V和表VI可以看出，这些方法的最高PSNR（TWSC）和建议用于AWGN去除的方法的最高PSNR（数据集1上的TNRD和数据集2上的NC）相差超过1.2dB。然而，在我们的新数据集上，如表VII所示，这些方法的最高PSNR（TWSC）和以前方法的最高PSNR（TNRD）仅相差约0.4dB。这表明，在我们的新数据集上，最近提出的方法，如Guided、MCWNNM和TWSC，与以前的方法（如TNRD）相比，没有显示出显著的优势。这是因为我们的数据集在场景内容方面更全面，并且具有更多的相机设置。这也表明，我们的数据集比以前的数据集更具挑战性，需要新的真实世界图像去噪方法。

结论

为了评估真实照片上现有的去噪方法，并推广新的去除真实世界噪声的方法，我们构建了一个新的数据集，该数据集包含不同自然场景的综合真实世界噪声图像。这些图像是在不同的相机设置下由不同的相机拍摄的。每个场景在短时间内拍摄了500次。我们首先选择没有错位的图像，然后删除与基线图像亮度不一致的图像。由于捕获的图像尺寸非常大，我们裁剪了尺寸为512×512的较小区域，以评估现有的图像去噪方法和我们在前几节中提出的方法。我们评估了新数据集和以前数据集上的不同去噪方法。结果表明，所提出的方法比其他竞争方法更稳健，新提出的数据集更具挑战性。我们将公开构建的真实照片数据集，供研究人员研究新的真实世界图像去噪方法。

Real-world Noisy Image Denoising: A New Benchmark-真实世界噪声图像去噪：一种新的基准相关推荐

linux系统benchmark工具,Linux下一种简单易行的cpu benchmark方法
superpi是很多DIYer很喜欢用的一个Windows下的benchmark(性能测试和比较)工具.主要来测试cpu性能.super-pi这个程序是东京大学的一位学者开发的算法.值得一提的是该源代 ...
Image Denoising State-of-the-art
Github上看到的,最近几年顶级会议和期刊关于图像去噪方面的论文列表,直接上链接: https://github.com/flyywh/Image-Denoising-State-of-the-ar ...
Self2Self With Dropout: Learning Self-Supervised Denoising From Single Image【使用单张图像进行自监督学习去噪】
文章目录 Self2Self With Dropout: Learning Self-Supervised Denoising From Single Image[使用单张图像进行自监督学习去噪] 一 ...
图像/视频去噪算法资源集锦
点击上方"深度学习技术前沿",选择"星标"公众号资源干货,第一时间送达图像去噪是指减少数字图像中噪声的过程.随着深度学习的发展,也有许多深度学习方法被用于图 ...
（十三：2020.08.28）CVPR 2015 追踪之论文纲要（译）
CVPR 2020 追踪之论文纲要(修正于2020.08.27) 讲在前面论文目录讲在前面论坛很多博客都对论文做了总结和分类,但就医学领域而言,对这些论文的筛选信息显然需要更加精细的把控,所以自 ...
图像去噪，深度学习去噪，普通方法
1.BM3D 降噪 2.DCT 降噪 3.PCA 降噪 4.K-SVD 降噪 5.非局部均值降噪 6.WNNM 降噪 7.基于主成分分析和双边滤波的图像降噪算法 8.小波变换 9.小波阈值降噪 10. ...
计算摄影——图像去噪（二）
这一章来整理下图像去噪相关的内容,主要包括:噪声类型,评估方法,传统去噪方法,深度学习去噪方法,常用数据集,这一章主要讲后两部分.前面的内容可以参考:计算摄影--图像去噪(一)_Turned_MZ的博 ...
NLP预训练模型综述
文章目录文章介绍背景 2.1语言表示学习非上下文词嵌 2.2 神经上下文编码器 2.2.1 序列模型s 2.2.2 非序列模型 2.2.3 分析 2.3 为什么预训练? 2.4 NLP的PTM ...
《PTMs for NLP: A Survey》笔记
Pre-trained Models for Natural Language Processing: A Survey Xipeng Qiu*, Tianxiang Sun, Yige Xu, Yu ...

Real-world Noisy Image Denoising: A New Benchmark-真实世界噪声图像去噪：一种新的基准