文章地址：Beyond Brightening Low-light Images (tju.edu.cn)

github：GitHub - zhangyhuaee/KinD_plus: Beyond Brightening Low-light Images

一、简介

二、方法

网络整体结构：

分解网络

网络结构

损失函数：

总损失

反射网络

网络结构

损失函数

反射图的调整

光照网络

网络结构和损失函数

与伽马变化比较

三、实验结果

四、消融实验

网络结构消融

损失函数消融

一、简介

低光图像增强不仅要提高黑暗区域的亮度，而且要去除隐藏的伪影。为了实现这一目标，本文建立了一个的网络KinD++，它受到Retinex理论的启发，将图像分解为光照图和反射图两个部分。遵循分而治之的原则，对光照图进行光线调整，对反射图进行去除退化（噪声、颜色失真）的操作。

本文主要贡献如下:

1)受Retinex理论的启发，将图像分解为两个部分，即反射图和光照图，将原始空间解耦为两个更小的空间。

2)网络使用在不同光照/曝光条件下捕获的成对图像进行训练，而不使用反射图像和照度图像的ground truth。

3)我们设计的模型提供了映射功能，可以根据用户的不同需求灵活调整亮度。

4)提出了一个模块，该模块能够有效消除通过放大黑暗区域而造成的视觉缺陷。

5)我们进行了大量的实验来证明我们的模型的有效性，以及它相较于其他模型的优越性。

二、方法

网络整体结构：

整体网络包含3部分，其中分解网络主要是基于Retinex理论，将低光照图和groud truth分解为反射分量(3通道)和光照分量(1通道)，有些论文会直接通过网络来估计低光照图像的3通道反射分量，再基于Retinex理论来获取输入图像的反射分量，并将反射分量作为增强后的结果，因为通过网络直接估计输入图像的光照分量比起将通过网络将输入图像分解为光照和反射是相对容易的，无论是网络参数的设计还是损失函数的构建。

反射网络是对分解出的反射分量进行去噪的操作，光照网络是对分解出光照分量进行“光照增强”的操作。

分解网络

网络结构

分解网络包含两个分支，分别对应反射和光照。反射分支采用典型的5层U-Net，然后是一个卷积层和一个Sigmoid层。而光照分支由两个卷积+ReLU层和一个卷积层组成，卷积层是由反射分支的联合特征图组成的（可能用于排除光照中的纹理），最后是一个Sigmoid层。

损失函数：

反射损失：

$L^{D}_{rs} = ||R_l - R_h||^2_2$

Retinex理论认为，反射分量是图像固有的属性，因此无论光照怎么发生改变，图像的反射分量应该是相同的。换句话说，对于强光图像 $R_h$ 和弱光图像 $R_l$ 二者的反射分量是相同的。

重构损失：

$L^{LD}_{rec} := ||I_l - R_l\cdot L_l||_1 + ||I_h - R_h \cdot L_h||_1$

生成的 $[R_l,R_h][L_l,L_h]$ 反过来合成的两个图像，应分别与 $[I_l,I_h]$ 相似。

光照损失：

$L^{D}_{is} = ||\frac{\bigtriangledown L_l}{max(|\bigtriangledown I_l|, E)}||_1+||\frac{\bigtriangledown L_h}{max(|\bigtriangledown I_h|, E)}||_1$

其中分别代表低光照度图像，低光输入图像，强光照度图像，强光输入图像。∇代表包含（水平）和（垂直）方向的一阶导数算子，是一个小的正常数（在本工作中为0.01），用于避免分母为零。照度图用输入图像进行引导，在输入图像强边缘区，光照发生较大变化；在弱边缘区，认为光照是平滑的。也就是输入图像光照变化小的区域，光照图像变化也应该小。

一致性损失：

$L^{D}_{mc} = ||M \cdot \exp (-c * M)||_1$

$M = |\bigtriangledown L_l| + |\bigtriangledown L_h|$

其中。下图描述了的函数行为，其中c是控制函数形状的参数。从图中可以看出，随着u的增加，惩罚先是上升，然后下降到0。对应到损失函数上就是当近似 0 或者较大时（ $[L_l, L_h]$ 二者的梯度都很小或者都很大时），约束较小；当在 0 和较大之间时（ $[L_l, L_h]$ 二者的梯度一个比较小，一个比较大），此时约束就很大，迫使 $[L_l, L_h]$ 其中一个和另一个相近。

总损失

$L^{D} = L^{D}_{re} + w_{rs}L^{D}_{rs} + w_{is}L^{D}_{is} + w_{mc}L^{D}_{mc}$

反射网络

网络结构

图a是Kind++网络的反射网络结构，图b是Kind网络的反射网络结构。

噪声和颜色失真最主要出现在弱光照的区域，即衰减的分布依赖于照明分布。因此，将光照信息与反射信息一起输入网络中。在以前的版本(KinD)中反射修复网络是一个U-Net，如图b所示。KinD能够很好地进行去噪和色彩校正，但在某些情况下，修复后的反射率结果可能存在一些缺陷，如过度曝光。事实上，U-Net中的过度池化和上采样操作很容易产生光晕。因此，我们使用类似于FFDNet的一种网络结构解决这种问题，然而，仅仅使用这种网络结构不能得到满意的修复结果。我们设计了一个基于多尺度光照注意（MSIA）模块的反射率修复网络。如图a所示，由10个卷积层和4个MSIA模块组成。以上是作者在文章中给出的从Kind的u型网络换成Kind++网络的原因。主要就是由于过度的下采样导致在上采样过程中网络不能很好的恢复图像，会产生光晕。而采用全卷积的网络结构在去噪方面会受到一定的影响，所以进一步提出了MSIA模块。

MSIA结构类似于incpetion，4个分支，pool一次，pool两次，不pool，input。

损失函数

$L^R = L^R_{mse} + L^R_{dsim}$

反射网络的损失函数就是mse损失和ssim损失。

反射图的调整

与 $R_h$ 相比， $R_l$ 经常受到重度噪声的干扰，的整体强度被抑制。当把这种不对齐的反射图对送入网络时，学习到的映射不可避免地增加了复原后的反射图的强度以匹配 $R_h$ 的整体强度，因此带来了过度增强的风险。因此，我们通过 $\hat R_h \leftarrow R_h \beta$ ，其中 $\beta \geq1$ 是用来控制调整的， $\leftarrow$ 表示史蒂文斯幂律。β的值由 $min(mean( \frac {R_h} {R_l} ), e)$ 简单确定，其中除法是按元素相除， $e>1$ 是调整能力的上限。

史蒂文斯幂律，用公式表示为 $s = k I^n$ ，其中s是心理量，k为常数，I为物理量，n为指数。定律指出，在n<1时，心理量的增长慢于物理量的增长；当n>1时，心理量的增长快于物理量的增长。

注：我在读这一趴的时候并没有懂它详细是怎么变的，只知道用这个公式将 $R_h$ 变了一下，具体怎么变的我也没搞明白，有懂的兄弟评论区说一下。

光照网络

网络结构和损失函数

对于图像来说，并不存在一个真实的光线水平。因此，为了满足不同的要求，我们需要一种机制来灵活地将一种光照条件转换为另一种。我们用成对的照度图粗略计算它们的强度比，即 $a=mean(\frac {L_t }{L_s})$ 。这个比率作为一个指标来训练一个从源光 $L_s$ 到目标光 $L_t$ 的调整函数。如果将较低水平的光调整到较高的水平，α>1，否则α≤1。其中 $L_t$ 表示目标图像， $L_s$ 表示原图像（例如，对弱光图像强化，则 $L_t=L_h, L_s=L_l$ ）。在测试阶段，α可以由用户指定。该网络是轻量级的，指标α被扩展为一个特征图，作为网络的一部分输入。

损失函数： $L^A = MSE( \hat L, L_t) + MSE(\bigtriangledown \hat L,\bigtriangledown L_t)$

就是在训练时，通过比值确定a的值，然后扩展成特征图一起参与训练，但在测试时，没有groud truth，所有这个a特征图得需要人为定义，测试阶段光照网络的好坏与自定义的a密不可分，个人认为虽然在训练阶段根据groud truth的光照图进行训练，测试阶段却有了很大的限制。

与伽马变化比较

伽马变化：通过非线性变换，让图像中较暗的区域的灰度值得到增强，图像中灰度值过大的区域的灰度值得到降低。经过伽马变换，图像整体的细节表现会得到增强。

公式表示为： $s = cr^r$ ，其中r为输入图像，s为输出图像，c为灰度缩放系数，通常取1。为伽马因子。

为了比较公平，我们通过 $\gamma = \frac{ || log(\hat L)||_1 }{|| log(L_s)||_1}$ 来调整伽马校正的参数，以达到与我们相似的整体光强度。图(a)描述了光源的照度，(b)和(d)是通过伽马校正的调整结果，而(c)和(e)是我们的结果。我们绘制了x=100、200、400时的一维强度曲线。我们的方法在相对较暗的区域增加了较少的光线，而在明亮的区域增加了较多或差不多。这种学习方式与实际情况更加吻合。

就是作者将本文自定义的a特征图方法与伽马变化作比较。

三、实验结果

这部分不做详细介绍，看原论文即可

四、消融实验

网络结构消融

针对分解网络的网咯结构部分，对比了4种不同的网络结构。反射分量尽可能多的保留纹理细节信息，光照分量尽可能排除纹理细节信息。u型网络提取反射分量，提取更多的细节信息，全卷积网络提取光照分量，尽可能只保留光照信息，排除细节信息。

损失函数消融

不做详细介绍

论文详读：Beyond Brightening Low-light Images (Kind++)相关推荐

REARGUARD Secure Keyword SearchUsing Trusted Hardware 论文详读
最近读了一篇关于硬件和安全方面的我文章,对于很多东西读的不是很透,所以还是老样子,先放在这里,回头有时间了再看看. 因为最初写在word里,所以懒得在这里再排一遍版,放上原版翻译的链接 REARGUA ...
【文本匹配】之经典ESIM论文详读
ESIM 2017年的论文,在SNLI的排行榜仍榜上有名. 600D ESIM + 300D Syntactic TreeLSTM - 88.6 主要的组成如下图:input encoding, lo ...
论文详读：LEMNA: Explaining Deep Learning based Security Applications
我以我ppt的内容顺序介绍一下这篇论文,希望有错误的地方大家可以帮我指出嘻嘻 1.论文出处论文名:LEMNA: Explaining Deep Learning based Security App ...
Fast R-CNN 论文详读
刚刚才开始研读R-CNN系列的论文,如果理解有偏差,还请多多指教! Fast R-CNN Abstract This paper proposes a Fast Region-based Convol ...
Semi-Supervised Video Salient Object Detection Using Pseudo-Labels 论文详读
Semi-Supervised Video Salient Object Detection Using Pseudo-Labels --使用伪标签的半监督式的重要目标(显著目标)检测. abstra ...
DT（Detect to Track and Track to Detect）论文详读
abstract 近些年,视频目标分类与检测领域为了达到更高的准确率,不断融合各种复杂的处理方式,最终的网络结构也变得越来越复杂.本文提出一个名为ConvNet的结构,该结构比较简洁,且可以有效的进行 ...
1.Transformer-Attention is all your need论文详读-PartⅠ(摘要、引言、背景)
⭐原文链接:https://arxiv.org/abs/1706.03762 *黑字--原文翻译 *红字--存在问题 *蓝字--优势 *绿字--主观分析(未对全部细节进行分析,仅针对本文内容补充) 1 ...
Named Entity Recognition without Labelled Data:A Weak Supervision Approach论文详读
Named Entity Recognition without Labelled Data: A Weak Supervision Approach 无标记数据的命名实体识别:一种弱监督方法创新点 ...
DFF（deep feature flow for video recognition）论文详读
abstract deep feature flow是一个针对视频目标识别快速且准确的框架,只在稀疏的关键帧上运行卷积子网络,并通过flow field 把它们的特征图传播到其他帧. introduc ...

论文详读：Beyond Brightening Low-light Images (Kind++)

一、简介

二、方法

网络整体结构：

分解网络

网络结构

损失函数：

总损失

反射网络

网络结构

损失函数

反射图的调整

光照网络

网络结构和损失函数

与伽马变化比较

三、实验结果

四、消融实验

网络结构消融

损失函数消融

论文详读：Beyond Brightening Low-light Images (Kind++)相关推荐

最新文章

热门文章