Low-Light Image Enhancement via Edge-Enhanced Multi-Exposure Fusion Network阅读札记
Low-Light Image Enhancement via Edge-Enhanced
Multi-Exposure Fusion Network阅读札记
论文发表于2020年的AAAI Technical Track : Vision。
Abstract
本文目标:
恢复弱光图像细节,减少噪声和颜色偏差,保持锐利的边缘。
现存问题:
(1)无法从极暗/亮的区域恢复曝光良好的图像细节。
(2)若没有良好曝光的图像信息,现有的模型可能会由于弱光图像和gtgtgt之间的颜色偏差而遭受颜色失真。
(3)在弱光图像中,当物体边缘不清晰时,像素级losslossloss会使边缘模糊,破坏图像细节。
本文提出: 边缘增强多曝光融合网络(EEMEFN)
第一阶段:采用多重曝光融合(MEF)模块来解决高对比度和色偏问题。
第二阶段:引入一个边缘增强(EE)模块,在边缘信息的帮助下锐化initial image。
贡献:
(1)提出了一种新的具有融合块的多曝光融合模型,与不同光照条件的生成图像相结合,从而解决高对比度和颜色偏差问题。
(2)引入一个边缘增强模块来增强具有锐利边缘和精细结构的图像。
Method
算法框架图
EEMEFN包括两个阶段:
(1)多曝光融合——首先在不同的光照条件下生成多幅图像,然后将图像融合成一幅高质量initial image。
(2)边缘增强——从iitial image获得边缘映射,并结合边缘信息生成final image。
1、第一阶段:多曝光融合
多曝光融合(MEF)模块包括两个主要步骤:生成和融合。
(1)生成——将raw image在不同的光照条件下生成一组多曝光图像。
(2)融合——将生成图像的曝光良好区域融合到一个initial image中。
生成
给定一张raw image Ilow∈R(H×W×1)I_{low}∈R^{(H×W×1)}Ilow∈R(H×W×1)和一组曝光率k1,k2,…,kN{k_1,k_2,…,k_N}k1,k2,…,kN,生成一组多曝光图像I=I1,I2,…,INI={I_1,I_2,…,I_N}I=I1,I2,…,IN。第iii个图像定义为:
Clip(x)Clip(x)Clip(x):Clip(x)=min(x,1)Clip(x) = min(x,1)Clip(x)=min(x,1),如果像素值超过最大值1,则进行像素剪裁。
融合
MEF模块将生成的一组多曝光图像I=I1,I2,…,INI={I_1,I_2,…,I_N}I=I1,I2,…,IN的曝光良好区域进行融合,以获得initial image InormalI_{normal}Inormal:
具体步骤如下:
第一步: 每个图像由具有相同架构的U-net分支处理(在U-net中添加了跳跃连接,以帮助在不同尺度下重建细节)。
第二步: 融合模块将不同分支获得的图像特征结合起来,以互补的方式充分利用有价值的信息(如上图所示)。融合块采用排列不变技术[1]构建,在特征之间进行更多聚合操作。因此,MEF模块可以从黑暗区域恢复精确的图像细节,并使颜色分布更接近地面真相。每个融合块从NNN个分支中提取NNN个图像特征f1,f2,…,fN∈R(c×h×w)f_1,f_2 ,…,f_N∈R^{(c×h×w)}f1,f2,…,fN∈R(c×h×w)作为输入,并执行最大和平均运算以提取有价值的信息。
第三步: 将特征fmaxf_{max}fmax和favgf_{avg}favg转换为输入特征空间,并将它们重新输入到每个分支。
[⋅,⋅][·,·][⋅,⋅]:串联操作
fff:输出特征
WWW:学习的权重矩阵。
第四步: 将所有分支的最后一个特征连接在一起,并输入1×11×11×1 的Conv层,通过联合学习所有分支来产生所需的输出。
⭐损失函数定义为MEF模块输出InormalI_{normal}Inormal与gtgtgt之间的l1l1l1损失:
2、第二阶段:边缘增强
边缘增强(EE)模块包含两个主要步骤:检测和增强。
(1)检测——从initial image生成边缘映射。
(2)增强——利用边缘信息,生成颜色一致的更平滑的目标表面,并恢复丰富的纹理和锐利的边缘。
检测
使用边缘检测网络[2]来预测InormalI_{normal}Inormal的边缘E∈R(H×W×1)E∈R^{(H×W×1)}E∈R(H×W×1),E=Detection(Inormal)E=Detection(I_{normal})E=Detection(Inormal),再利用边缘信息指导高质量图像的重构。边缘检测网络由五个阶段组成,每个阶段利用卷积层的所有激活函数来执行像素级预测(E1,E2,E3,E4,E5)(E_1,E_2,E_3,E_4,E_5)(E1,E2,E3,E4,E5)。最后,采用融合层对各个阶段的CNN特征进行仔细的融合。边缘检测网络可以获得精确的边缘图EEE。
使用两个类平衡权ααα和βββ来抵消边缘/非边缘像素的分布的严重不平衡。预测的边缘图EiE_iEi和地面真值Egt=(ej,j=1,…,∣Egt∣),ej=0,1E_{gt}=(e_j,j=1,…,|E_{gt} |),e_j={0,1}Egt=(ej,j=1,…,∣Egt∣),ej=0,1之间的边缘损失被定义为相对于像素标签的加权交叉熵损失:
∣Egt+∣,∣Egt−∣|E_{gt}^+ |,|E_{gt}^- |∣Egt+∣,∣Egt−∣:边缘和非边缘EgtE_{gt}Egt标签集的大小
ej=1e_j=1ej=1:像素jjj处的边缘点
Pr(ej=1∣i)Pr(e_j=1|i)Pr(ej=1∣i):阶段iii处像素jjj的预测值。
通过聚合不同阶段和融合层的损失函数计算损失函数:
增强
采用U-Net架构,以多曝光图像I=I1,I2,...,INI = {I_1,I_2,...,I_N }I=I1,I2,...,IN、initial image InormalI_{normal}Inormal和边缘图EEE作为输入,将这些图像融合生成最终的增强图像Inormal+I_{normal}^+Inormal+。
损失函数定义为EE模块输出Inormal+I_{normal}^+Inormal+与gtgtgt之间的l1l1l1损失:
Experiment
数据集 :See-in-the-Dark数据集由两个图像集组成(Sony集和Fuji集)。
1、定量评估
2、定性评估
References
[1] Aittala M , Durand F . Burst Image Deblurring Using Permutation Invariant Convolutional Neural Networks[J]. Springer, Cham, 2018.
[2] Liu Y, Cheng M M, Hu X, et al. Richer convolutional features for edge detection[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 3000-3009.
Low-Light Image Enhancement via Edge-Enhanced Multi-Exposure Fusion Network阅读札记相关推荐
- Learning Temporal Consistency for Low Light Video Enhancement from Single Images
Learning Temporal Consistency for Low Light Video Enhancement from Single Images 论文链接:CVPR链接 期刊/会议:C ...
- LIME Low light Image Enhancement via Illumination Map Estimation
文章目录 LIME: Low-light Image Enhancement via Illumination Map Estimation 0 Abstract and Introduction 1 ...
- A Two-stage Unsupervised Approach for Low light Image Enhancement(一种两阶段无监督的微光图像增强方法)
主要参考文献及其收获 Unpaired image-to-image translation using cycle-consistent adversarial networks Deep reti ...
- 论文笔记:Integrating Semantic Segmentation and Retinex Model for Low Light Image Enhancement
来源:Proceedings of the 28th ACM International Conference on Multimedia (2020) 目录 Contributions Mothol ...
- A Two-Stage Unsupervised Approach for Low Light Image Enhancement 论文阅读笔记
这是一篇无监督暗图增强论文,来自RAL期刊(JCR1区) 文章将暗图增强任务分解两个阶段,第一阶段用基于retinex的传统方法进行预增强,第二阶段用refinement network 来进一步提高 ...
- Self-supervised Low Light Image Enhancement and Denoising 论文阅读笔记
这是哈工大的一篇无监督暗图增强和去噪的论文,似乎还没有在哪个会议期刊正式发表 文章提出了一个能够同时进行暗图增强和去噪的框架,由两部分组成,一部分是对比度增强网络(ICE-Net),一部分是进一步增强 ...
- Reinforcement Learning Enhanced Heterogeneous Graph Neural Network阅读笔记
强化学习增强异质图神经网络 代码源:https://github.com/zhiqiangzhongddu/RL-HGNN 摘要 异构信息网络(HINs)涉及多种节点类型和关系类型,在许多实际应用中非 ...
- 论文速读:自监督弱光图像增强:Self-supervised Image Enhancement Network: Training with Low Light Images Only
Self-supervised Image Enhancement Network: Training with Low Light Images Only Yu Zhang, Xiaoguang D ...
- 论文笔记007:[TOMM2020]Exploring Image Enhancement for Salient Object Detection in Low Light Images
摘要 在非均匀光照环境下获取的弱光图像通常会随着场景深度和环境光的不同而退化.这种退化导致退化图像模式下的目标信息严重丢失,由于低对比度和人工光的影响,使得显著目标检测变得更加困难.然而,现有的显著目 ...
- A Retinex based GAN Pipeline to Utilize Paired and Unpaired Datasets for Enhancing Low Light Images
A Retinex based GAN Pipeline to Utilize Paired and Unpaired Datasets for Enhancing Low Light Images ...
最新文章
- 异步请求之XMLHttpRequest篇
- 滴定数据处理结果分析
- 从一生的角度看程序员的学习和发展
- 【转】Android的线程使用来更新UI----Thread、Handler、Looper、TimerTask
- java中InputStream和OutputStream的使用场景
- Android studio | Unused import statement
- 2n皇后 - 回溯
- paloalto防火墙执行初始配置
- Wicket模型的干净方法
- iview代码片段 去除水平menu底部横线
- vs2015配置python环境_Windows10系统安装vs2015+cocos2d-x 3.9开发环境的方法
- 【Java】身份证的验证
- 周赛-mZY寻宝(bfs搜索)
- TensorFlow中的通信机制——Rendezvous(一)本地传输
- 用System中System.setOut()方法修改输出方式
- 有助睡眠的方法有哪些?睡不着,这些方法就能帮到你
- 万分之二用百分之怎么表示_百分比表示什么 什么是百分之多少是怎么算的?...
- 2021年起重机司机(限桥式起重机)考试题库及起重机司机(限桥式起重机)找解析
- 国内公认18处超级美景
- 英语单词如何正确发音?入股血赚!!!
热门文章
- 0基础学习音视频路线,以及重磅音视频资料下载
- c编程语言外文翻译及原文,外文翻译--基于ST语言(结构化文本语言)可编程控制器(中文)...
- mysql设置不区分大小写_更改MYSQL数据库不区分大小写表名
- 足球相声:我现在真的火了
- 水星路由器设置显示服务器,水星路由器设置的方法
- 书摘—吃我吃我:38种改善情绪和恢复精力的神奇食材
- oracle常用sql语句查询语句,Oracle常用sql语句
- 百度主送推送是什么?
- Intellij Idea配置提高速度
- #2013年Google官方技术求职大礼包#面试求职技巧篇