A Switched View of Retinex Deep Self-Regularized Low-Light Image---视网膜的切换视图:深度自调整微光图像增强

主要参考文献：

Zero-reference deep curve estimation for low-light image enhancement. 主要参考

U-Net: Convolutional Net-works for Biomedical Image Segmentation U-net网络

An aug-mented lagrangian method for total variation video restora-tion TV损失函数

个人总结收获：

反射一致性损失、空间结构性损失函数、曝光损失函数、TV平滑损失函数的使用，各自的优点，解决了那类的问题。

随机亮度干扰的设计，对于过曝光的处理有一定的效果。

将视网膜理论结合到V分量上，保持色彩

通过设计一个随机的亮度干扰，结合retinex创建了反射估计网络，避免通过分解网络得到反射分量，从而丢失细节。

Abstract

摘要——自调整低光图像增强在训练中不需要任何正常光图像，从而从成对或不成对低/正常图像上的链中解放出来。然而，现有方法存在颜色偏差，并且不能推广到各种照明条件。本文提出了一种新的基于视网膜的自正则化方法，该方法受HSV的启发，保留了所有颜色(色调、饱和度)，并且只将视网膜理论融入亮度(V值)。我们通过限制嵌入在同一场景亮度的原始和新的随机扰动形式中的反射率的一致性来建立反射率估计网络。产生的反射被认为是不相关的填充亮度，被视为增强的亮度。我们的方法是有效的，因为低光图像被解耦成两个子空间，颜色和亮度，以更好地保存和增强。大量实验表明，我们的方法在质量和数量上优于多种最先进的算法，并适应更多的光照条件。

总结： 1、不需要数据集的限制。 2、提出了基于视网膜的自正则化方法，保留了所有的颜色，视网膜理论只对V分量做融合。 3、通过限制反射率来建立新的反射网络

introduction

ZERO设计了非参考损失函数正则化的深度曲线估计方法，这种方法存在颜色偏差，并且不能适应各种照明条件。

本文想法思路：

目标：减少颜色偏差和适应更多的照明环境

方法理论：

1、受HSV颜色空间的启发，保留了所有的颜色(色调、饱和度)，只将视网膜理论集成到亮度(V值)中。

2、由于缺少成对或不成对的弱光/正常光图像，该方法提出了一种新的随机亮度扰动方法来获得同一场景的另一个异常亮度。

3、根据Retinex，嵌入在亮度的原始和干扰形式中的反射率应该是一致的。基于此，该方法设计了一个深度反射率估计网络。

本文主要贡献： 1、提出了一种新的自正则化弱光图像增强方法，该方法受HSV颜色空间的启发，保留了所有颜色(色调、饱和度)，只将视网膜融合到亮度值中。 2、我们设计了一个深度反射率估计网络，该网络通过嵌入在同一场景的原始亮度和新的随机干扰形式中的反射率的一致性来调整 3、大量的实验证明了我们的方法的有效性及其相对于现有方法的优越性。

Methodology

模型描述：

1、进行一个HSV的空间转换-----一个弱光图像被归一化为[0，1]，并由HSV颜色空间中的颜色(色调，饱和度)和亮度(V值)来描述。 2、设计随机亮度干扰获得异常亮度V’ ----我们设计了一种随机亮度扰动方法来获得同一场景的另一个异常亮度(图2中的v’)。 3、根据retinex的反射率相同设计一个网络----亮度的原始形式和扰动形式共享同一个反射率估计网络。我们将产生的反射率视为增强的亮度。 4、重新通道融合，转换到RGB空间----最后，通过在通道方向上重新组合原始颜色和增强的亮度，转换到RGB颜色空间，并调节到[0，255]，生成增强的图像。

弱光图像由HSV颜色空间中的颜色(色调、饱和度)和亮度(值)来描述。颜色被保留，只有亮度被反射率估计网络增强。通过重新组合原始颜色和增强的亮度来生成增强的图像。反射率估计网络的细节显示在底部。

A. HSV Color Space for Low-Light Image En- hancemen 用于弱光图像增强的HSV颜色空间

HSV空间的优势： 1、H、S、V三个通道正交，分解之后可以更好的保留颜色信息，并且降低模型的复杂度。特别是在自正则化学习中，由于缺乏基础事实，卷积神经网络无法学习从弱光图像到其对应的正常光图像的颜色映射，突出了HSV颜色空间的优势。 2、V通道对应于微光图像的最大通道，即每个像素的值是R、G和B通道中对应像素的三个值中的最大值。最大通道具有最大熵，这提供了最大量的信息来增强微光图像。

B、 Random Brightness Disturbance-随机亮度扰动

为了适应各种照明条件，我们建议将嵌入在亮度中的反射率视为增强的亮度，我们设计了一种在亮度(V通道)上的随机扰动方法，该方法通过一个具有随机指数的幂函数来实现，以获得同一场景的另一个异常亮度。这种扰动形式应该与原始形式具有相同的反射率。此外，这种非线性函数的优点如下: (1)幂函数的输入输出范围为[0，1]，避免了溢出截断带来的信息损失。(2)幂函数单调递增，以保持亮度的原始形式和扰动形式之间梯度方向的一致性。(3)随机指数能够增加扰动的多样性。 V(x)表示原始V通道的像素值，V ’(x)是被干扰的V通道，γ是一个随机值。如果V的平均值小于0.5，γ的范围为[0，1]，否则为[1，5]。值得注意的是，这种方法并不等同于数据扩充。我们扰动的目标是限制反射率的一致性，而不是扩展训练数据集。

C、Reflectance Estimation Network---反射估计网络

我们建立了一个基于视网膜变量的深度反射率估计网络，而不是像以前的方法那样学习一个分解网络来获得反射率和光照，减少了信息损失。最初，亮度V和受干扰的亮度V 0共享同一个网络。此外，我们定义了几个损失函数来对网络进行自正则化。

a、Retinex Variant

网膜理论[12]旨在将图像分解为反射和照明。在同一场景的不同照明条件下，反射率应该是一致的，而照明假设是平滑的。

I是计算R的中间变量，形式上可以写成其中I、L互相为倒数此外，值得注意的是，我们直接在网络中生成照明的逆，而不是先获取照明，然后计算其逆。

b、 Network Architecture

反射率估计网络以亮度为输入，输出嵌入其中的反射率。请注意，V和V ’共享同一个网络。。。反射估计网络，采用了U-net

c、Loss Functions

我们定义了一组损失函数，它们对反射率和光照的倒数进行自调整，由以下的四个损失函数组成

反射一致性损失- 根据视网膜理论[12]，成对的{V，Vd}应该具有相同的反射率。因此，为了测量两个生成反射率之间的差异，反射率一致性损失Lrc可定义为MSE

暴露控制损失- 为了限制生成的反射率的一般亮度，我们设置了曝光控制损失。它测量生成的反射率的局部区域的平均亮度和给定的良好曝光值之间的距离E设置为0.7 其中Rn表示产生的反射率的n × n平均池化的结果，而E表示与Rnand和所有0.7值大小相同的矩阵。我们在实验中设置n = 16，凭经验保持亮度和细节的平衡。

空间结构损失- 为了将输入的空间结构继承到生成的反射率上，我们引入了空间结构损失，它评估输入的每个像素的水平和垂直梯度与生成的反射率之间的差异。虽然空间结构损失类似于零DCE [6]中的空间一致性损失，但我们通过考虑梯度方向来改进它。

照明平滑度损失-根据视网膜理论，照明应该是平滑的，这样所有的细节都可以保留在反射率上。这同样适用于照明的逆过程 TV损失计算相邻像素的梯度，适合平滑度损失。

Experiments

损失函数的作用：消融实验

扰动亮度的作用：

没有亮度干扰会局部过曝光与我们的基线方法(图7b)相比，没有干扰的结果会产生不自然的亮度。具体来说，在图7a中，建筑物太亮，与天空的亮度不匹配。而且建筑周围的光晕更明显。我们还为每个场景添加了更多的干扰亮度。然而，它不能在数量上或质量上进一步提高性能，而是在训练中消耗更多的时间。消除曝光控制损失Lec无法使弱光图像变亮。空间结构损失结构损失产生奇怪的黑暗区域(例如，图6d的右上角)。最后但并非最不重要的是，严重的颜色失真出现没有照明平滑度损失Lis。

适应更多的亮度环境：

对于较暗的输入，零DCE(图8b和图8h)的结果仍然曝光不足。此外，对于更亮的输入，零DCE产生更多的过曝光区域(例如，图8k中的灌木)。然而，我们的方法可以在各种光照条件下产生更自然的亮度，减少增强图像中曝光不足/过度的区域。

结论

出了一种新的基于视网膜理论的自调整弱光图像增强方法，重点是减少颜色偏差和适应更多光照条件。受HSV颜色空间的启发，这种方法保留了所有的颜色(色调、饱和度)，只将视网膜理论集成到亮度(V值)中。通过限制嵌入在原始和新的随机扰动亮度形式中的反射率的一致性，来正则化深度反射率估计网络。生成的反射率被视为增强的亮度。

感觉没有提及噪声，低光照图像的噪声一般都比较严重。

A Switched View of Retinex Deep Self-Regularized Low-Light Image相关推荐

A Retinex based GAN Pipeline to Utilize Paired and Unpaired Datasets for Enhancing Low Light Images
A Retinex based GAN Pipeline to Utilize Paired and Unpaired Datasets for Enhancing Low Light Images ...
论文笔记：Integrating Semantic Segmentation and Retinex Model for Low Light Image Enhancement
来源:Proceedings of the 28th ACM International Conference on Multimedia (2020) 目录 Contributions Mothol ...
文献阅读 2018 Deep Retinex Decomposition for low-light Enhancement
一.名词解释以下名词按照在论文中出现的先后顺序列出,如果不是,当我没说: CNN:Convolutional Neural Networks 卷积神经网络.An algorithm based ...
VGGNet论文翻译-Very Deep Convolutional Networks for Large-Scale Image Recognition
Very Deep Convolutional Networks for Large-Scale Image Recognition Karen Simonyan[‡] & Andrew Zi ...
Very Deep Convolutional Networks for Large-Scale Image Recognition—中英文对照
文章作者:Tyan 博客:noahsnail.com | CSDN | 简书翻译论文汇总:https://github.com/SnailTyan/deep-learning-papers- ...
论文研读 —— 7. Very Deep Convolutional Networks for Large-Scale Image Recognition (2/3)
文章目录 3. Classification Framework 3.1. Training 3.2. Testing 3.3. Implementation Details 4. Classific ...
Very Deep Convolutional Networks for Large-Scale Image Recognition—VGG论文翻译—中文版
文章作者:Tyan 博客:noahsnail.com | CSDN | 简书声明:作者翻译论文仅为学习,如有侵权请联系作者删除博文,谢谢! 翻译论文汇总:https://github.com ...
[翻译] 神经网络与深度学习第六章深度学习 - Chapter 6 Deep learning
目录: 首页译序关于本书关于习题和难题第一章利用神经网络识别手写数字第二章反向传播算法是如何工作的第三章提升神经网络学习的效果第四章可视化地证明神经网络可以计算任何函数第五章 ...
个人阅读的Deep Learning方向的paper整理
http://hi.baidu.com/chb_seaok/item/6307c0d0363170e73cc2cb65 个人阅读的Deep Learning方向的paper整理,分了几部分吧,但有些部 ...

A Switched View of Retinex Deep Self-Regularized Low-Light Image