论文阅读：Learning to Correct Overexposed and Underexposed Photos

需要解决的问题：

曝光误差可能是由多种因素造成的，例如TTL测光的测量误差、硬照明条件（例如，非常低的照明和背光）、场景亮度水平的剧烈变化，或用户在手动模式下的错误。
在基于相机的成像中，拍摄错误曝光的照片仍然是一个主要的错误来源。曝光问题可分为以下两类：
•（i）曝光过度，相机曝光时间过长，导致图像区域变亮和褪色；
•（ii）曝光不足，曝光时间太短，导致图像区域变暗。

论文方法：

提出了一个由粗到精的深度学习模型，用于过曝光和欠曝光的图像校正。算法：使用拉普拉斯金字塔分解来处理不同频段的输入图像，以多尺度的方式依次校正每个拉普拉斯金字塔层次，从图像中的全局颜色开始，逐步处理图像细节。数据集：通过生成一个包含24000多张不同曝光误差的图像的大型数据集来实现的。

提出了一个粗到细的深度神经网络（DNN）模型，该模型以端到端的方式进行训练，首先对全局颜色信息进行校正，然后对图像细节进行细化。
一个关键贡献是一个新的数据集，它包含了24000多张从原始RGB到sRGB的不同曝光设置的图像。我们的数据集中的每个图像都提供了相应的正确曝光的参考图像。

数据集：

数据集来自麻省理工学院的adobefik数据集，其中有5000个原始RGB图像和由五位专业摄影师手动渲染的sRGB图像，使用Adobe FiveK数据集的线性原始RGB图像（单反拍摄）， Adobe Camera raw SDK使用嵌入在每个DNG Raw文件中的元数据精确模拟非线性相机渲染过程，相关的Evs(曝光度):-1.5、-1、+0、+1和+1.5分别渲染具有欠曝光误差、原始EV的零增益和过曝光误差的图像。通过对摄像机ISP过程的精确仿真，得到了不同相对曝光值（EVs）的图像。

用不同的数码曝光设置生成了24330张8位sRGB图像。丢弃了一小部分与其对应的地面真实图像不一致的图像。数据集分为三组：（i）17675个训练集图像（ii）750个图像的验证集（iii）5905个测试集图像。那个训练集、验证集和测试集使用从fivek数据集获取的不同图像。

网络结构：

1.Coarse-to-Fine Exposure Correction 由粗到细的曝光矫正
拉普拉斯金字塔：记录高斯金字塔每一级下采样后再上采样与下采样前的差异，目的是为了能够完整的恢复出每一层级的下采样前图像。

让X代表图像I 的拉普拉斯金字塔，有n个等级，这些等级可以被分类为：（i）在低等级中存储的i的全局颜色信息（ii）在中高等级中存储图像从粗到细的细节。这些级别以后可以用来构建全彩图像I。

2.Coarse-to-Fine Network 由粗到细的网络*
网络由n个子网络组成。这些子网络中的每一个子网络都是一个类似UNet结构，具有不同的权重，根据每个子问题（即全局颜色校正和细节增强）对最终结果的贡献程度分配权重。

处理I中的全局颜色信息（网络图黄色部分）该网络处理低频信息X（n）并产生放大图像Y（n）。放大图像的过程，使用带可训练权重的反卷积将子网络的输出放大两倍。
将第一个中频X（n-1）添加到Y（n）中，以供模型中的第二个子网处理。该子网络增强了当前层次的相应细节并且产生了一个残差层，该残差层被添加到Y（n）+X（n-1）上以重建图像Y（n-1），这相当于对应的高斯金字塔n-1级。此上采样过程继续进行，直到生成最终输出图像Y。

损失函数：

损失函数由三部分组成：重构损失，金字塔损失，对抗损失。

其中Lrec表示重构损失，Lpyr表示金字塔损失，Ladv表示对抗性损失。

重构损失：
使用L1损失函数衡量重构图像和参考图像的差距。
其中h和w分别表示图像的高度和宽度，p是每个像素的索引。Y：校正图像，T：相应的适当曝光的参考图像。
金字塔损失：
每层金字塔中都有一个损失函数，为了指导每个子网络遵循拉普拉斯金字塔重建过程。T（l）表示参考图像T高斯金字塔的第lth级上采样两倍后的图像。hl和wl分别是训练图像的拉普拉斯金字塔中第lth层的高度和宽度的两倍，p分别是在第l层Y（l）(校正图像)中的每个像素的索引，以及T（l）(正确曝光的参考图像)中的每个像素的索引。

-对抗损失：
S是 sigmoid function，D是和主网络一起训练的鉴别器DNN。

实验结果：

测试集：
由5905张不同曝光设置渲染的图像组成。测试集包括3543个曝光良好/曝光过度的图像，使用+0、+1和+1.5相对曝光值EVs渲染的图像，以及2362个使用-1和-1.5相对曝光值EVs的欠曝光图像。
评估方法：（i）峰值信噪比（PSNR）（ii）结构相似性（SSIM）[54]，（iii）感知指数（PI）
图像定性分析
过曝光图像增强实验结果

欠曝光图像增强实验结果
图像量性分析
（1）过曝光图像
（2）欠曝光图像

论文地址：Learning to Correct Overexposed and Underexposed Photos
ps：作者尚未公开数据集和代码

论文阅读：曝光过度，曝光不足增强算法Learning to Correct Overexposed and Underexposed Photos相关推荐

论文阅读： Channel Augmented Joint Learning for Visible-Infrared Recognition
论文阅读: Channel Augmented Joint Learning for Visible-Infrared Recognition code: https://gitee.com/mind ...
论文阅读笔记 | 目标检测算法——FSAF算法
如有错误,恳请指出文章目录 1. Introduction 2. FSAF Module 2.1 Network Architecture 2.2 Ground-truth and Loss 2.2 ...
【论文阅读】Decision Transformer: Reinforcement Learning via Sequence Modeling
[论文阅读]Decision Transformer: Reinforcement Learning via Sequence Modeling 1 本文解决了什么问题? 本文将强化学习抽象为一个序列 ...
论文阅读笔记 | 目标检测算法——PP-YOLOv2
如有错误,恳请指出. 文章目录 1. Introduction 2. Revisit PP-YOLO 2.1 Pre-Processing 2.2 Baseline Model 2.3 Trainin ...
【论文阅读】Rethinking Spatiotemporal Feature Learning For Video Understanding
[论文阅读]Rethinking Spatiotemporal Feature Learning For Video Understanding 这是一篇google的论文,它和之前介绍的一篇face ...
论文阅读笔记 | 目标检测算法——SAPD算法
如有错误,恳请指出. 文章目录 1. Introduction 2. Soft Anchor-Point Detector 2.1 Detection Formulation with Anchor ...
【论文阅读】Gait Lateral Network: Learning Discriminative and Compact Representations for Gait Recognition
Gait Lateral Network: Learning Discriminative and Compact Representations for Gait Recognition 摘要: I ...
【论文阅读】Parametrized Deep Q-Networks Learning: RL with Discrete-Continuous Hybrid Action Space
[论文阅读-深度强化学习打王者荣耀]Parametrized Deep Q-Networks Learning: Reinforcement Learning with Discrete-Contin ...
聚类算法距离矩阵_论文阅读9——AP聚类算法
Affinity Learning for Mixed Data Clustering 论文提出了基于混合对数据进行聚类的学习框架,具体研究内容包括:1)如何处理具有混合类型属性的数据.2)如何学习数 ...

论文阅读：曝光过度，曝光不足增强算法Learning to Correct Overexposed and Underexposed Photos