暗光增强论文：“EEMEFN: Low-Light Image Enhancement via Edge-Enhanced Multi-Exposure Fusion Network”

摘要

暗光增强的目的：提高图片的亮度，找到暗区所隐藏的图片的信息。
现存的方法有如下三个问题：
(1)低光照的图片一般有较高的对比度。（颜色差异较大）因此现有方法很难复原暗区或者亮区的细节。
(2)和暗光增强大多数问题一样，暗光会导致颜色失真不可复原。
(3)由于物体的边界比较模糊，pixel-wise loss会对不同的物体进行相同的处理，并导致一个模糊的结果。
本论文提出了二阶段的边缘增强的多曝光融合网络（Edge-Enhanced Multi-Exposure Fusion Network）用于极暗图像的增强。
在第一阶段，使用多曝光融合模块来解决高对比度问题和颜色的偏差。本文作者通过原始图像设置不同的曝光时间来合成多张不同的图像，并通过融合多曝光图像中曝光良好的区域重建了一张正常曝光的图像。
在第二阶段，通过边缘增强模块（edge enhancement module），通过提取到的边缘信息来精化原始的图片。
因此，作者认为本文可以重建获得sharp edge的高质量的图像，并在See-In-the-Dark的数据集上取得了不错的效果。
（很奇怪问什么不在LOL Dataset上做？）

Introduction

过去的方法有什么问题？

传统的方法：通过对像素的增强来获得一个更加自然的分布。
深度学习方法:设计较深的网络来恢复高质量的图像。存在以下三个问题：
（1）由于low-light的图像的对比度较高，难以获得一个一对一的映射来恢复极暗和极亮的区域。生成的图像有可能存在噪声或者存在模糊。
（2）由于缺乏well-exposed的图像的信息，可能会受到颜色畸变的干扰。
（3）像素级的loss对图片的空间分布处理是平等的，会导致 l 1 l_1 l1 loss和 l 2 l_2 l2 loss被相邻的像素平均化。生成的图像边界容易模糊，细节也不是很好。

Contributions

（1）提出了一个多曝光融合的网络（multi-exposure fusion， MEF），用于解决高对比度问题和色彩偏差问题。
（2）通过边缘增强网络精化细节。
（3）效果不错。

Methodology

Stage-I 多曝光融合

图片生成
输入一张raw图片 I l o w ∈ R H × W × 1 I_{low}\in\mathbb{R}^{H\times W\times 1} Ilow∈RH×W×1和一系列不同的曝光度值{ k 1 , k 2 , . . . , k N k_1,k_2,...,k_N k1,k2,...,kN}来通过公式 I i = C l i p ( I l o w × k i ) I_i=Clip(I_{low}\times k_i) Ii=Clip(Ilow×ki)从而生成多张曝光度的图片{ I 1 , I 2 , . . . , I N I_1,I_2,...,I_N I1,I2,...,IN}。在Learning-to-see-in-the-dark那篇论文里，作者用了一个特定的exposure ratio k ∗ k^{*} k∗。然而考虑到多曝光图片中的信息冗余，将多张不同的图像引入网络中不一定会提高性能，反而会增强计算的代价。
图像融合
从若干个生成的图片 I = { I 1 , I 2 , . . . , I N } I=\{I_1,I_2,...,I_N\} I={I1,I2,...,IN}中获得初始图片 I n o r m a l I_{normal} Inormal, I n o r m a l = M E N ( I 0 , I 1 , . . . , I N ) I_{normal}={MEN}(I_0,I_1,...,I_N) Inormal=MEN(I0,I1,...,IN)
首先先将每张图片通过相同结构的U-Net的方式，在不同的尺度中重建细节。
其次，使用融合模块来以互补的方式利用特征中有效的信息。使用了permutation-invariant technique(引用自ECCV 2018的论文，链接http://people.csail.mit.edu/miika/eccv18_deblur,并加强了特征间的聚合。作者认为这些融合模块可以较大程度上复原暗区细节以及校准颜色畸变。输入为{ f 1 , f 2 , . . . , f N ∈ R c × h w f_1,f_2,...,f_N\in\mathbb{R}^{c\times hw} f1,f2,...,fN∈Rc×hw}个特征，其中 f m a x = m a x ( f 1 , f 2 , . . . , f N ) f_{max}=max(f_1,f_2,...,f_N) fmax=max(f1,f2,...,fN) f a v g = ( f 1 + f 2 + . . . + f N ) / N f_{avg}=(f_1+f_2+...+f_N)/N favg=(f1+f2+...+fN)/N
将特征 f m a x f_{max} fmax f a v g f_{avg} favg转换到输入的特征空间并将其送入对应的分支， f = W × [ f m a x , f a v g ] , f ∈ R c × h w , W ∈ R c × 2 c f = W\times[f_{max},f_{avg}],f\in\mathbb{R}^{c\times hw},W\in\mathbb{R}^{c\times 2c} f=W×[fmax,favg],f∈Rc×hw,W∈Rc×2c
最终将最后一层的特征结合在一起，将其送入1x1的卷积层，从而利用融合信息综合的去利用不同分支的信息。
损失函数使用 l 1 l_1 l1损失函数，loss=|| I n o r m a l − I g t I_{normal}-I_{gt} Inormal−Igt|| 1 _1 1

Stage-II 边缘增强网络

边缘检测网络也分为两个模块：检测模块 和 增强模块 。由于原始的low-light图像的边缘过于不清晰，作者用生成的 I n o r m a l I_{normal} Inormal图像来获得边缘信息；在增强模块中，作者利用检测模块获得的边缘信息去生成更加平滑的色彩，并且减少多余的纹理和尖锐的边缘信息。
检测模块中，作者使用2017年的边缘检测论文来提取一个edge map E。（论文：Richer convolutional features for edge detection）
考虑到边缘信息和非边缘信息的分布是不均衡的，本文设置了两个不同的平衡系数 α \alpha α和 β \beta β，边缘损失函数 E i E_i Ei和Ground Truth E g t = ( e j , j = 1 , 2 , . . , ∣ E g t ∣ ) E_{gt}=(e_j,j=1,2,..,|E_{gt}|) Egt=(ej,j=1,2,..,∣Egt∣),从而定义为一种带权重的交叉熵损失函数
l e d g e ( E i , E g t ) = − α ∑ j ∈ E g t + l o g P r ( e j = 1 ∣ i ) − β ∑ j ∈ E g t − l o g ( 1 − P r ( e j = 1 ∣ i ) ) l_{edge}(E_i,E_{gt})=-\alpha\sum_{j\in E_{gt}^+}log\pmb {Pr}(e_j=1|i)-\beta\sum_{j\in E_{gt}^-}log(1-\pmb {Pr}(e_j=1|i)) ledge(Ei,Egt)=−αj∈Egt+∑logPrPrPr(ej=1∣i)−βj∈Egt−∑log(1−PrPrPr(ej=1∣i))
其中 α = ∣ E g t − ∣ ∣ E g t + ∣ + ∣ E g t − ∣ \alpha=\frac{|E_{gt}^-|}{|E_{gt}^+|+|E_{gt}^-|} α=∣Egt+∣+∣Egt−∣∣Egt−∣, β = ∣ E g t + ∣ ∣ E g t + ∣ + ∣ E g t − ∣ \beta=\frac{|E_{gt}^+|}{|E_{gt}^+|+|E_{gt}^-|} β=∣Egt+∣+∣Egt−∣∣Egt+∣, ∣ E g t + ∣ |E_{gt}^+| ∣Egt+∣和 ∣ E g t − ∣ |E_{gt}^-| ∣Egt−∣代表着边缘信息和非边缘信息的GT label sets，最后将全部的loss function汇总：
l o s s D e t e c t i o n = ∑ i = 1 5 l e d g e ( E i , E g t ) + l e d g e ( E , E g t ) loss_{Detection}=\sum_{i=1}^5l_{edge}(E_i,E_{gt})+l_{edge}(E,E_{gt}) lossDetection=∑i=15ledge(Ei,Egt)+ledge(E,Egt)
增强模块：同样使用U-Net的结构，将多曝光图片 I = { I 1 , I 2 , . . . , I N } I=\{I_1,I_2,...,I_N\} I={I1,I2,...,IN},合成的initial图片 I i n i t i a l I_{initial} Iinitial 和边缘图E作为输入生成新的增强后的图片 I n o r m a l + I_{normal}^+ Inormal+
I i n i t i a l + = E n h a n c e m e n t ( I , I i n i t i a l , E ) I_{initial}^+=Enhancement(I,I_{initial},E) Iinitial+=Enhancement(I,Iinitial,E)
同样使用 l 1 l_1 l1损失函数，本文还试过edge-preserving loss和perceptual loss，然而edge-preserving loss会极大的降低性能，perceptual loss也无法提高效果。

性能比较

消融实验

不同的exposure ratio对应的消融实验结果。

使用不同的融合策略进行融合

不同的损失函数：

暗光增强论文：“EEMEFN: Low-Light Image Enhancement via Edge-Enhanced Multi-Exposure”相关推荐

暗光增强论文MBLLEN: Low-light Image/Video Enhancement Using CNNs阅读笔记
论文地址:http://www.bmva.org/bmvc/2018/contents/papers/0700.pdf 项目地址:https://github.com/Lvfeifan/MBLLEN ...
暗光增强论文Attention Guided Low-light Image Enhancement with a Large Scale Low-light Simulation Dataset翻译
Abstract 低光图像增强是一个挑战,因为它不仅需要考虑亮度恢复,还需要考虑复杂的问题,如颜色失真和噪声通常隐藏在黑暗中.简单地调整低光图像的亮度将不可避免地放大这些噪声.针对这一难题,本文提出了 ...
暗光增强论文“Kindling the Darkness: A Practical Low-light Image Enhancer”
暗光增强论文"Kindling the Darkness:A Practical Low-light Image Enhancer" 还是retinex-based的思想,将图像调 ...
Low-light Enhancement暗光图像增强论文整理2019-2021
Low-light Enhancement暗光图像增强论文整理2019-2021 github代码都放后面了,没有就是找不到代码近年论文 Guo, Xiaojie et al. "LIME ...
IAT：实时完成暗光增强, 曝光矫正的超轻量级Transformer网络
作者丨信息门下奶狗@知乎(已授权) 来源丨https://zhuanlan.zhihu.com/p/535695807 编辑丨极市平台导读本工作提出了一种超轻量级的快速照明自适应Transform ...
Retinex算法在暗光增强应用以及Python实现
图像暗光增强(一) Retinex简介 Single Scale Retinex(SSR) 多尺度MSR Multi-Scale Retinex 带色彩恢复的多尺度MSR,即MSRCR(Multi-S ...
A Two-Stage Unsupervised Approach for Low Light Image Enhancement 论文阅读笔记
这是一篇无监督暗图增强论文,来自RAL期刊(JCR1区) 文章将暗图增强任务分解两个阶段,第一阶段用基于retinex的传统方法进行预增强,第二阶段用refinement network 来进一步提高 ...
Learning Temporal Consistency for Low Light Video Enhancement from Single Images
Learning Temporal Consistency for Low Light Video Enhancement from Single Images 论文链接:CVPR链接期刊/会议:C ...
Self-supervised Low Light Image Enhancement and Denoising 论文阅读笔记
这是哈工大的一篇无监督暗图增强和去噪的论文,似乎还没有在哪个会议期刊正式发表文章提出了一个能够同时进行暗图增强和去噪的框架,由两部分组成,一部分是对比度增强网络(ICE-Net),一部分是进一步增强 ...

暗光增强论文：“EEMEFN: Low-Light Image Enhancement via Edge-Enhanced Multi-Exposure”

暗光增强论文：“EEMEFN: Low-Light Image Enhancement via Edge-Enhanced Multi-Exposure Fusion Network”

摘要

Introduction

过去的方法有什么问题？

Contributions

相关工作

低光照增强

传统算法：直方图均衡化和Retinex增强

深度学习算法

边缘检测