1. Low-Light Image Enhancement via a Deep Hybrid Network [TIP2019]
2. Underexposed Photo Enhancement using Deep Illumination Estimation[CVPR2019]

---------

• Low-Light Image Enhancement via a Deep Hybrid Network [TIP2019]

作者提出一个混合的网络来同时学习内容（global content）和显著性结构（salient structure）。

为了学习内容的同时，增加边沿（edge）的情况，作者提出利用另一个RNN 网络来学习边沿信息.

比较核心的设计是RNN.

数据集（Dataset）:

1) 基于自然图像，使用Gamma变换生成变黑的图像，从而得到图象对[1]。

缺点Gamma变换是全局的，没办法考虑到图像的局部信息[1]。

b) 6000对，相机和手机拍照的图象对[2]。

缺点：但是没有严格对齐。

c) 自己从MIT-Adobe FiveK dataset里面挑选了336张有昼夜/光照变化的图像对--自己做数据增广。

2) 如何充分的评价你的工作（How to evaluate）. Visually and PSNR/SSIM. 并没有和任务结合起来，让人觉得并不充分。[TIP2019]如果不是后面一群大佬站台，真不知道这个论文是不是足够充分了。

---------------------

值得继续研究或者对比或者尝试的方法（Methods related to feature/VIO that worth trying）:

• 这个RNN增强边沿的方法值得尝试一下。

[1]LLNet: A deep autoencoder approach to natural low-light image enhancement.

[2]DSLR-quality photos on mobile devices with deep convolutional networks.

CVPR2019: Underexposed Photo Enhancement using Deep Illumination Estimation

摘要：

instead of the directly learning an image-to-image mapping, we design the network to first estimate an image-to-illumination mapping for modeling varing-lighting conditions and then take the illumination map to light up the underexposed photos.
与之前的图像对图像的映射不同，这里的网络只学习图像到光照的映射（ 从图像中估计光照的强度/模型），然后利用图像光照来改进曝光不足的图像。

----------P.S. 这个估计中间图的操作在水下图像复原里面（waterGAN就已经用过了。。）

视网膜模型：认为我们看到的图像/每一个像素是由像素本身的反射和光照两部分组成。

Image enhancement model ( Retinex-based model)

Reflectance image

and the illumination map S, pixel-wise multiplication to produce the observed image:

The goal is to estimate

based on

.

----

Overview:

take away：

1）Q： 关于如何让网络输出是期望的illumination Map S? 并没有直接可以得到的loss来训练网络进行学习

A: 可以在网络的输出后面继续进行操作，如图上所示，利用网络输出S和原始图像I，计算得到

，然后继续基于

的L2-loss就可以实现了。值得学习的是，在网络后面继续操作，然后学习loss。

2）smoothness prior: 优势：有利于减弱过拟合，提高网络泛化能力；增强图像对比度。

感觉这个smoothness prior是从传统方法中借鉴过来的（张国峰的TPAMI2009的平滑项涉及类似）。

公式分析: 图像梯度小的地方，weights高--loss增加，从而增加smoothness的要求。图像梯度大的地方，weights小--loss降低，从而降低smoothness的要求。

【为什么要用logarithmic image?】--目前不清楚,查一下相关平滑项的内容。

【图像梯度和光照的关系】对于光照，尤其不均匀光照时，对图像的梯度的影响比较大，因此要可以根据梯度的差异来修正光照的变化。

3） color loss：取ground-truth 和网络输出之间的RGB 3D vector之间的角度差，这个loss比L2 loss要好，L2 loss比较vague，这个loss对颜色方向有更强的约束，从而提高图像的一致性。

【loss 函数的可导性，是否有分析，以及会有何影响？】

4）制作数据集：雇佣了专业人员school of photography来修图，从而完成数据集的制作，这个也是很大的contribution--不知道是如何收费的。