[愚见]《EnlightenGAN: Deep Light EnhancementWithout Paired Supervision》
读完《EnlightenGAN: Deep Light EnhancementWithout Paired Supervision》有一些自己的想法，随手而写，随性而想，以便此后自我纠正此刻的想法。
目的（作者为何提出EnlightenGAN）：对于低光增强问题，给定低光图像可能没有唯一或明确定义的high-light ground truth(言外之意就是对一一张Input,没有明确的ground truth(可以是清晨，可以使中午，可以是下午3点等..))。例如，从黎明到黄昏拍摄的任何照片都可以被视为同一场景在午夜拍摄的照片的高光版本。受这两篇文章启发《Unpaired image-to-image translation using cycle-consistent adversarial networks》、《Unsupervised image-to-image translation networks》
相关工作：
图1-可知，主要是提出了EnlightenGAN,是一个U-Net生成器，Global-local做判别器的一种GAN网络，提出一种Self Feature Preserving Loss。
图2-只是作者对自己算法结果的一种展示，直观上看感觉还不错，但对日光强的一些地方增强较弱，对暗部区域增强效果不错。
图3是EnlightenGAN的整体结构，作者在这里提了一下没有使用cycleGAN（循环一致性，即input经过G生成、D判别，得到ouput之后再经过一个映射能否得到input）。
对整个网络结构，输入input ，获取其照明通道（应该是亮通道原理：LIME里有介绍）利用正则化将其归一化为[0,1]，进行1-I进行图像反转，将照明像素反转，内容像素突出，突出局部案光特征，进行attention操作(同时也方便了对局部暗光处的处理)，进行endocer-decoder操作，并进行网络中的skip-connection。最后与输出图像相称与input相加得到ouput。
ouput之后进入global-local模块，利用非监督图像进行光照训练学习，对ouput的光进行全局-局部的增强，并在增强过程中加入相应Perceptual Losses
一： Global-Local Discriminators
引入相对论判别器结构[1]估计真实数据比虚假数据更真实的概率，指导生成器合成比真实图像更真实的伪图像。
《The relativistic discriminator: A key element missing from standard GAN》
D(xr,xf)是判别器D分布，D(xf,xr)是生成器G分布，其中C表示判别器，xr和xf分别表示真和假的分布，σ 表示sigmoid激活函数。
为什么引入相对论判别器，因为使用非饱和Loss_G,相对判别器结构能在判别初期提供更好的梯度信息，训练初期 D(G(z))趋近于0（因为刚开始生成的图像很假，判别为真的概率为0），此时log(1-D(G(z)))≈ 0，梯度为0。 而对此公式取反，求图像为假的概率则为1，那么梯度就会存在。
之后为了进一步防止在计算过程中梯度消失问题，用最小二乘GAN(LSGAN)损失代替了sigmoid函数，最后全局判别器D和生成器G的损失函数为：
常数a、b分别表示真实图片和生成图片的标记；c是生成器为了让判别器认为生成图片是真实数据而定的值。可查看《Least Squares Generative Adversarial Networks》
本文作者认为以交叉熵作为损失，会使得生成器不会再优化那些被判别器识别为真实图片的生成图片，即使这些数据与真实数据的边缘有些距离，意味着还没干啥job finished。为什么生成器不再优化优化生成图片呢？是因为生成器已经完成我们为它设定的目标——尽可能地混淆判别器，所以交叉熵损失已经很小了。而最小二乘法就是尽可能拉近生成数据与真实数据之间的差距，尽可能的往决策边界拉近。
二：Self Feature Preserving Loss
Perceptual Losses来自这篇文章《Perceptual Losses for Real-Time Style Transfer__and Super-Resolution》
Perceptual Losses （感知损失）函数是将真实图片卷积得到的feature与生成图片卷积得到的feature作比较，本篇文章中将其加入U-net处作用是（限制输入的低光与其增强的正常光输出之间的VGG特征距离）。
提取VGG特征是因为当操纵输入像素强度范围时，VGG模型的分类结果不是很敏感，称其为自特征保留损失，是为了强调其自正则化的实用性，使图像内容特征在增强前后保持不变。（限制输入的低光与其增强的正常光输出之间的VGG特征距离）
为什么叫自正则化感知损失呢，
IL 表示输入的低光图像，G (IL)表示生成器的增强输出。ϕi,j表示预训练的特征图 i 表第i个最大池化，j 表示第i个最大池化之后的第j个卷积层。
对局部判别器，从输入和输出图像中裁剪出的局部小块也通过类似定义的自特征保留损失L_SFP^Local进行正则化。 此外，在VGG特征映射后添加了一个实例归一化层，然后再将其加入到L_SFP和L_SFP^Local中， 以稳定训练。
图4作者做了几个模块的消融比较，可以看出图像对光照强烈的地方优化并不是太好，感觉可以适当优化调整照明通道的取值问题 。
最后作者做了一些对比实验。
总体来说，很优秀的一篇文章！
第一次写笔记，思路有点乱，理解错的地方会进行修改更新。
到此结束。
[愚见]《EnlightenGAN: Deep Light EnhancementWithout Paired Supervision》相关推荐
- EnlightenGAN: Deep Light Enhancement without Paired Supervision
摘要 本文提出了出了一种高效的.无监督的生成对抗网络,称为EnlightenGAN,它可以在不需要低/正态光图像对的情况下进行训练,并被证明在各种真实世界的测试图像上具有很好的通用性.模型使用全局局部 ...
- EnlightenGAN: Deep Light Enhancement without Paired Supervision论文阅读笔记
EnlightenGAN: Deep Light Enhancement without Paired Supervision论文解读 Motivation and introduction 最近在x ...
- Low-light images enhancement系列：EnlightenGAN:Deep Light Enhancement without Paired Supervision
众所周知,在暗光增强任务中,要获取到适合的成对的暗光/正常曝光训练图像是非常困难的,甚至是不存在唯一的定义良好的正常曝光ground truth图片.如果用正常曝光的图像去合成带噪点的暗光图像作为训练 ...
- 论文详解EnlightenGAN: Deep Light Enhancement Without Paired Supervision
目录 ouc-DLS 1.Introduction 2. GAN 3.相对判别器 4.网络结构 5.损失函数 实验结果 Conclusion [1]U-Net生成器 下采样的特征 上采样的特征 长连接 ...
- 【论文精读】EnlightenGAN: Deep Light Enhancement without Paired Supervision
目录 贡献 网络架构 全局-局部鉴别器 自特征保持损失 自注意引导的UNet生成器 贡献 1.EnlighttenGAN是第一个成功地将不成对训练引入微光图像增强的工作.这样的训练策略消除了对成对训练 ...
- EnlightenGAN：Deep Light Enhancement Without Paired Supervision阅读札记
EnlightenGAN:Deep Light Enhancement Without Paired Supervision阅读札记 论文发表于2021年的TIP. Abstract 本文提 ...
- Deep Light Enhancement without Paired Supervision （非配对数据监督学习用于低曝光图像增强）
Deep Light Enhancement without Paired Supervision 注:本篇总结仅供学习交流 1.Abstracrt 基于深度学习的方法在图像还原和增强方面取得了显著成 ...
- CV Code | 计算机视觉开源周报 20190603期
点击我爱计算机视觉标星,更快获取CVML新技术 刚刚过去的一周正是CVPR 开会的日子,开源代码也很都很有料!多个重量级成果开源! 首推港中文的mmdetection和mmaction,OpenMML ...
- 【今日CV 计算机视觉论文速览 第132期】Tue, 18 Jun 2019
今日CS.CV 计算机视觉论文速览 Tue, 18 Jun 2019 Totally 64 papers ?上期速览✈更多精彩请移步主页 Interesting: ?****MMDetection, ...
- 【论文】低光图像增强的零参考深度曲线估计
Zero-Reference Deep Curve Estimation for Low-Light Image Enhancement 连接:Zero-Reference Deep Curve Es ...
最新文章
- 让织梦内容页arclist标签的当前文章标题加亮显示
- 深入浅出自定义标签（一）入门
- 线上活动 | 2020年PM如何提高求职成功率？
- LINUX下的tty，console与串口分析
- （四）Struts2 架构
- android studio点击图片,如何在Android Studio中的模拟器图库中添加图像？
- Samba服务器（一）：windows访问samba服务器共享文件的简单实现(图文并茂)
- mysql 单表数据_Mysql--单表数据记录查询
- 如何在不使用try语句的情况下查看文件是否存在
- java datatable用法_Java中实现DataTable工具类，并利用其实现简单分页控件。
- r语言把多个图合并在一张图_R语言绘图 | 折线图画法，如何画出你满意的图？
- Docker 核心技术 NameSpace, CGroup, AUFS, DeviceMapper
- 钢琴专业打谱软件 Overture 4.02
- 手机android id修改密码,苹果手机怎么设置id账号和密码或重设密码
- apa引用要在文中吗_APA、MLA格式引用规范
- ES2022 有什么新功能？一起来瞧瞧
- 手机百度未能链接到服务器,北京地区用户“无法连接服务器” 百度:运营商问题...
- 删除文件显示正在使用无法删除该怎么办？
- 三星mzvlb1t0hblr是什么固态_固态硬盘跑分速度天梯图/天梯表，最全搜集。
- JAVA电商 B2B2C商城系统 多用户商城系统 直播带货 新零售商城 o2o商城 电子商务 拼团商城 分销商城 直播商城 短视频商城 springcloud商城 spring cloud商城