通过残差学习改善极低光图像去噪

摘要
1.引言
2.相关文献
- 2.1.图像去噪
- 2.2.低光图像增强
3.我们的方法
4.实验
- 4.1.数据集和实验设置
- 4.2.主观质量
- - 4.2.1.去噪
  - 4.2.2.颜色精度
  - 4.2.3.色彩扩散
  - 4.2.4.图像细节
- 4.3.客观质量
- 4.4.复杂性分析
5.结论

摘要

在低光环境中拍摄的图像，由于信噪比低而产生噪声。关于图像去噪，已经提出一些方法，但大多不能在极低光条件下工作。
近年提出了基于深度学习的方法，它们比传统方法质量更高，但计算成本较高，应用受限。
本文，我们提出了一种新的基于残差学习的深度神经网络，进行端到端的极低光图像去噪，不仅可以显著降低计算成本，而且可以在现有水平下进一步提高质量。在一种情况下，我们实现了29倍的质量提升。此外，我们的方法与现有最先进的相比，能实现更好的颜色复现，保留了更详细的纹理信息。

索引术语：深度残差学习、图像去噪、低光图像增强。

【a】0.1秒曝光下的极低光图像
【b】a的100倍增强

【c】10秒曝光下的正常图像
【d】方法【1】的output
【e】我们的output

1.引言

短曝光低光图像的去噪、颜色纹理复现有很多传统方法，但它们不适用于极低光环境。
最近有人提出基于深度学习的方法【1】来解决极低光去噪问题。他们的input是传感器获取原始图像，数据集是原始的短曝光低光图像，另有对应的长曝光正常图像作对照，网络架构是U-Net，他们取得了一些成果。
但是，结构有两个问题。
第一，U-Net结构基于自动编码器、且使用最大池化层、甚至使用残差连接，导致输出的图像细节丢失、边缘模糊。
第二，U-Net结构慢，不适用于快速成像和视频。
为了解决前人的问题，我们提出新的、基于残差学习的、端到端的网络来增强极低光图像。

在我们的残差块中，用 LeakyReLU替换ReLU，作为非线性激活函数；移除BN层（批标准化层）；增加SE模块重标定特征。

我们的方法与【1】相比：

残差学习的使用，能更好地提取、表示低光图像的颜色和纹理；
LeakyReLU作为激活函数，在特征的负区域引入斜率，从而保留了负值特征的信息；
SE模块通过重新校准卷积特征，提高了质量，也有助于更快收敛到一个稳定的网络。

我们发现以上改进能有效地加快训练过程，提高去噪性能。
我们提出的网络能以更高的颜色精度和更高的图像质量重建极低光图像。

2.相关文献

低光图像去噪和增强已经有了广泛的研究，这里我们说一下现有的研究成果。

2.1.图像去噪

传统方法中，Plotz and Roth提出了真实有噪声图像的基准数据集，对比发现他的方法BM3D优于其他的例如WNNM。
现在，基于深度学习的方法越来越受欢迎。DnCNN使用BN和ResNet去噪，效果比传统方法更好，包括BM3D。这种网络不仅能去噪，还能实现图像超分辨率，看着更舒服。
然而，所有这些方法，在处理极低光图像时都有问题。

2.2.低光图像增强

传统的最常用的图像增强方法，直方图均衡（histogram equalization）和伽马校正（gamma correction），它们能处理暗图像，但极低光还是有问题，因为引入了量化误差。
基于深度学习的方法【13】，需要曝光时间不同的大量照片，最后处理成一张去噪图像。由于网络复杂，处理效率低下，也不实用，还不能用于视频。
最近提出的【1】（SID），对原始的传感器数据使用端到端的完全卷积网络，来替代传统的图像处理管道。他们引入一个原始的短曝光低光图像的数据集，以及对应的长曝光参考图像。主要网络架构是U-Net，这造成一些质量和效率的问题。
受到残差学习（DnCNN）和【1】（SID）的启发，我们提出一种新的网络架构来解决这些问题。

3.我们的方法

【a】我们的系统概述。

1、原始RAW图像（Bayer Raw Image）转化为四通道（RGBG），按所需的放大率（Amplification ratio）进行数据缩放；
2、残差学习后，通过像素重组（PixelShuffle）的卷积层，实现2倍上采样；
3、用于残差学习的网络，包含很多残差块。

【b】残差块详细信息。

每个残差块都包含LeakyReLU层和一个SE块。

我们的网络架构如上图【a】。原始RAW图像被分成RGBG四通道，大小是原来的一半；后面跟着乘一个放大率（Amplification ratio）。我们的网络的主要结构是残差学习框架。残差学习后，通过像素重组（PixelShuffle）的卷积层，实现2倍上采样。

我们的主网络包含32个残差块，每个残差块的结构如上图【b】。3×3卷积层 – Leaky ReLU激活函数 – 3*3卷积层 – 恒定的线性缩放单元（Mult） – 被SE块重新校准的输出层。

与【1】（SID）相比，我们用残差网络替代U-Net结构——因为U-Net的最大池化层和特征尺寸缩小会删掉图像中的重要信息。

残差网络[12,11,15]使用校正线性单元(ReLU)作为每个残差块的激活函数。ReLU将特征中的负信息归零，这些负信息也携带了局部结构的重要信息，应该保留，所以我们用LeakyReLU替代ReLu。

我们还在每个残差块中加了SE块，它提升了ResNet和Inception网络的性能，可以有效地加快训练过程，提高去噪性能。通过使用channel wise特征缩放，SE块提升了网络的特征表示能力。

在训练过程中，输入大小设置为256×256像素，从【1】（SID）数据集原始图像中提取四通道RGBG作为输入。由于我们的网络相对不那么复杂，我们能够将网络深度增加到32个残差块，同时保持4K分辨率图像的速度，足够快以保证实时处理。增加残差学习的深度有助于更好地学习视觉特征。输入的原始传感器图像首先通过放大率（Amplification ratio）进行线性缩放，放大率是短曝光图像和长曝光图像的曝光时间之差。

4.实验

4.1.数据集和实验设置

SID dataset包含极低光和正常曝光图像，该数据集包含三种不同曝光时间为1/10、1/25和1/30秒的暗图像，以及相应的曝光时间为10秒的gt图像。以短曝光图像和长曝光图像的曝光时间之差作为每组暗图像与地面真实图像的放大率。

网络输入短曝光原始图像，输出sRGB图像。地面真实图像是相应的标准RGB长曝光图像。训练过程中，输入大小256×256，输入图像随机裁剪，通过翻转和旋转进行数据增强，输出3通道512×512sRGB图像。我们实验了16个和32个残差块的情况。LeakyReLU的负斜率参数设置为0.2。我们使用 L1 loss和Adam optimizer。网络训练为6000 epochs，初始学习率10−4，每2000 epochs后减少为1/10。训练的PC，具有Inteli5-8400CPU、16GB内存和NVIDIA GTX 1080 GPU。

4.2.主观质量

4.2.1.去噪

我们的方法与SID、BM3D比较。对原始图像进行线性放大后应用BM3D，进行多次尝试选择了最优的缩放因子，仍然没有我们的结果好。SID的结果是用【1】提供的源代码获得。

【a】地面真实图像
【b】SID结果，局部仍有噪声
【c】BM3D，暗
【d】我们的结果

4.2.2.颜色精度

与SID相比，我们的方法产生了更接近真实图像的颜色。下图示例的SID结果，墙的颜色不对，只在边缘产生一些颜色；地板略有变色。而我们的方法能更准确地再现墙壁颜色和地板颜色。

【a】输入
【b】黑图像a的100倍放大
【c】10秒曝光的地面真实图像
【d】SID输出，缺少颜色信息，PSNR：20.48dB
【e】我们的输出，接近地面真实图像，PSNR：27.17dB

4.2.3.色彩扩散

SID结果存在绿色、黄色颜色扩散问题。如图，SID结果草地颜色不对，我们的就很准确。

【a】输入
【b】黑图像a的300倍放大
【c】10秒曝光的地面真实图像
【d】SID输出，颜色扩散
【e】我们的输出，接近地面真实图像

4.2.4.图像细节

由于我们没有减少特征的大小，输出图像中纹理和边缘细节保留的很好。下图，我们的网络输出图像的放大区域比SID清晰得多。

4.3.客观质量

对比loss曲线，我们的网络在开始时收敛速度要快得多，并在整个训练过程中保持很大的优势。

我们使用PSNR和SSIM作为客观图像质量比较的性能指标，结果如表。

根据放大率进一步将输入图像分为三类，发现，我们的方法对x100和x250的放大率有更好的结果。Table2显示与SID和BM3D相比，每个缩放因子的性能。

4.4.复杂性分析

与SID相比，我们网络体系结构的模型参数要少得多。Table3显示了我们提出的网络与SID和BM3D相比的复杂度分析。我们提出的网络有两种配置，32个残余块和16个残余块。32个残余块实现21倍处理速度；16个残余块能有29倍，同时PSNR指标优于SID。

5.结论

本文提出了一种新的具有SE块的深度残差学习网络，用于极低光图像去噪和增强。实验结果表明，我们的网络不仅比SID网络有更好的PSNR指标，而且降低了计算成本。使用我们的残差网络，能够在极低的光条件下去噪图像，同时保留大部分的颜色和纹理信息。这一优势使我们的网络适合于在资源受限的设备上快速处理低光图像和视频。在未来，我们计划通过端到端学习，为各种视觉任务设计低光图像解决方案。

论文原文链接

【论文精读】Improving Extreme Low-Light Image Denoising via Residual Learning相关推荐

【论文精读】EnlightenGAN: Deep Light Enhancement without Paired Supervision
目录贡献网络架构全局-局部鉴别器自特征保持损失自注意引导的UNet生成器贡献 1.EnlighttenGAN是第一个成功地将不成对训练引入微光图像增强的工作.这样的训练策略消除了对成对训练 ...
深度学习论文: MicroNet: Improving Image Recognition with Extremely Low FLOPs及其PyTorch实现
深度学习论文: MicroNet: Improving Image Recognition with Extremely Low FLOPs及其PyTorch实现 MicroNet: Improvin ...
【论文阅读笔记】HLA-Face Joint High-Low Adaptation for Low Light Face Detection
HLA-Face Joint High-Low Adaptation for Low Light Face Detection 文章目录 HLA-Face Joint High-Low Adaptat ...
HLA-Face: Joint High-Low Adaptation for Low Light Face Detection论文阅读笔记
HLA-Face: Joint High-Low Adaptation for Low Light Face Detection 论文阅读笔记这是去年7月读这篇文章的笔记了,今年由于忘记了,又有需要 ...
论文速读：自监督弱光图像增强：Self-supervised Image Enhancement Network: Training with Low Light Images Only
Self-supervised Image Enhancement Network: Training with Low Light Images Only Yu Zhang, Xiaoguang D ...
论文笔记007:[TOMM2020]Exploring Image Enhancement for Salient Object Detection in Low Light Images
摘要在非均匀光照环境下获取的弱光图像通常会随着场景深度和环境光的不同而退化.这种退化导致退化图像模式下的目标信息严重丢失,由于低对比度和人工光的影响,使得显著目标检测变得更加困难.然而,现有的显著目 ...
【论文精读】Temporal Fusion Transformers for Interpretable Multi-horizon Time Series Forecasting
[论文精读]Temporal Fusion Transformers for Interpretable Multi-horizon Time Series Forecasting 针对未来的一个多步 ...
【推荐系统论文精读系列】(五)--Neural Collaborative Filtering
文章目录一.摘要二.介绍三.准备知识 3.1 从隐式数据中进行学习 3.2 矩阵分解四.神经协同过滤 4.1 总体框架 4.1.1 学习NCF 4.2 广义矩阵分解(GMF) 4.3 多层感知 ...
【Sentence Simplification via Large Language Models 论文精读】
Sentence Simplification via Large Language Models 论文精读 Information Abstract 1 Introduction 2 Related ...

【论文精读】Improving Extreme Low-Light Image Denoising via Residual Learning