微光增强的深Retinex分解——思路整理
文章目录
- 一、模型结构
- 二、实验
- 1. 数据集
- 2. 实验设置
- 2. 实验结果
- 三、反射上去燥
- 四、结论
传送门:
文章地址: http://arxiv.org/abs/1808.04560
源码地址: https://paperswithcode.com/paper/deep-retinex-decomposition-for-low-light#code
一、模型结构
Retinex模型假设把图像分解为反射率和光照两部分。在本文中,我们收集了一个包含低/正常光图像对的低光数据集(LOL),并提出了一个基于该数据集的深度Retinex-Net,包括用于分解的Decom-Net和用于照明调节的Enhance-Net。
可以用下边的公式来表示:
R为反射率,I为光照,◦为element-wise乘法
整个增强过程分为三个阶段:分解、调整和重构。然后用S_normal和S_low作为输入,分别估计出R_normal、I_normal和R_low、I_low。
第一阶段是分解阶段,用子网Decom将输入图像分解为反射率和光照。具 体步骤如下:
① 使用一个3x3卷积层从输入图像提取特征;
② 用几个ReLu为激活函数的3x3卷积层将RGB图像映射为反射率和光照;
③ 再用一个3x3卷积从特征空间投射出R和I;
④最后使用sigmoid函数将R和I约束在[0,1]的范围内。
损失函数由三部分组成:具体公式如下:
其中λir和λis表示用于平衡反射率一致性和光照平滑度的系数
重构损失Lrecon:
恒定反射率损失Lir:
光照平滑度损失Lis:
∇h为包括∇h(水平)和∇v(垂直)的梯度,λg为平衡结构意识强度的系数
第二阶段是调解阶段,用Enhance_Net对光照进行分级调整。如果有M个上采样模块
① 每个块提取一个C通道特征图;
② 通过最近邻插值将这些特征按不同的尺度调整到最终尺度,并将它们连接到一个CxM通道特征图;
③ 通过1*1的卷积层,将连接的特征简化为C通道;
④ 使用3x3卷积层重建光照I。
损失函数由重建损失Lreon和光照平滑损失Lis两部分组成
重建损失Lreon:
光照平滑度损失Lis:
二、实验
1. 数据集
数据集包括两类:真实的摄影对和从原始图像合成对
真实拍摄的图像: 500对微光/正常光数据集,且包括了很多不同的场景,还是用了三步法来消除数据集中图像对之间的不对准
原图合成的图像:
收集公共MEF、NPE、LIME、DICM、vv1、Fusion数据集270张弱光图像将图像转换为YCbCr通道,计算Y通道的直方图。
从RAISE[4]中采集1000张raw图像作为normal-light图像,计算YCbCr中Y通道的直方图。
由下图可见,合成图像的光照分布与弱光图像匹配。
2. 实验设置
首先对分解网络和增强网络进行训练,然后利用带反向传播的随机梯度下降(SGD)端到端对网络进行微调。
- 有500对图像的LOL数据集,被分成485对用于训练,另外15对用于评估
- 网络在485幅真实图像对和1000幅合成图像对上进行训练
- Decom网络需要5个卷积层,在没有ReLU的2个对流层之间有ReLU激活
- Enhance网络由3个向下采样区和3个向上采样区组成
- batch_size=16
- patch size=96×96。
- lir、lis和lg分别设置为0.001、0.1和10。
- 当i != j时,li j设置为0.001,当i = j时,li j设置为1。
2. 实验结果
我们的解压网络能够从文本区域和平滑区域两组不同光照条件下的图像中提取出基本一致的反射率。弱光图像的反射率与正常光图像的反射率相似,只是在真实场景中出现了黑暗区域的放大噪声。另一方面,照明贴图描绘了图像上的亮度和阴影。与我们的结果相比,LIME在反射率上留下了很多光照信息。
我们将我们的retinx-net与四种最先进的方法进行了比较,包括基于去雾的方法(DeHz)、自然度保留增强算法(NPE)、同时反射和光照估计算法(SRIE)[8]和基于光照图估计的方法(LIME)。
从每一个红色矩形中可以看出,我们的方法在不过度曝光的情况下,充分地提高了隐藏在暗亮度下的物体的亮度,这得益于基于学习的图像分解方法和多尺度定制光照贴图。与LIME相比,我们的结果没有部分过度暴露(看看静物中的叶子和室外的叶子)。与DeHz相比,这些物体没有暗边,DeHz受益于加权电视损失条款(见街道上房屋的边缘)。
三、反射上去燥
采用BM3D作为视神经网络去噪操作。由于噪声在反射率上被不均匀地放大,我们使用相对照明策略。我们比较了我们的联合去噪视网膜网与两种方法,一种是LIME去噪后处理;另一种是JED,一种最近的联合微光增强去噪方法。如图7所示,使用Retinex-Net可以更好地保留细节,而LIME和JED则模糊了边缘。
四、结论
本文提出了一种深度Retinex分解方法,该方法可以在不考虑反射率和光照分解的真实情况下,以数据驱动的方式学会将观测图像分解为反射率和光照。介绍了光照的后续光增强和反射率的去噪操作。对分解网络和微光增强网络进行端到端训练。实验结果表明,该方法具有良好的图像分解效果和良好的增强效果。
微光增强的深Retinex分解——思路整理相关推荐
- LE-MSFE-DDNet:基于微光增强和多尺度特征提取的缺陷检测网络--论文笔记
论文的英文名称为:LE–MSFE–DDNet: a defect detection network based on low‑light enhancement and multi‑scale fe ...
- 多智能体强化学习思路整理
多智能体强化学习算法思路整理 目录 摘要 背景和意义 研究背景 强化学习 多智能体强化学习与博弈论基础 研究意义 问题与挑战 问题分类 问题分析 环境的不稳定性与可扩展性的平衡 部分可观测的马尔可夫决 ...
- VL53L0X 底层思路整理(1)
传感器资料思路整理 世界上最小的飞行时间测距和姿态探测传感器 特点: •完全集成的微型模块 – 940nm激光VCSEL – VCSEL驱动程序 –带有高级嵌入式测距传感器的微控制器 – 4.4 x ...
- C#FFmpeg视频采集与推送RTMP服务器代码思路整理
C#视频采集与推送RTMP服务器代码思路整理:在看过FFmpeg后是否认为写C#的视频流采集和推送还是一头雾水啊?深有此感.领导是C#的高手,说可以通过C或C++的代码直接复制粘贴到C#工程然后进行适 ...
- 编程思路整理---逻辑篇
前言 经过一段时间学习,发现自己编程水平太菜 ,看别人写得很轻松,自己经常想半天才能写上几句,干得很勉强.虽然感觉人的经验越丰富越容易把事情做好,但不太适用于编程方面,这件事还得靠悟性.同其他很多博客 ...
- 张铁柱-前端实现《低代码可视化编辑器》(一)思路整理 React-dnd+Ts
张铁柱-前端实现<低代码可视化编辑器>(一)思路整理 React-dnd+Ts 先上效果: 拖拽生成页面+调整顺序 最近,接到任务做一个低代码编辑器,于是着手整理一下思路,调研一下实现方式 ...
- GAN框架研究与思路整理
本文内容将着重分析当前GAN原理及其应用场景,比对其相对于传统深度学习方法在图像生成等方面的区别 一.原始GAN原理 原始GAN论文中的思想为生成模型与判别模型间的零和博弈,通 ...
- 前端实现登录、登出、请求数据的一些思路整理
前端实现登录.登出.请求数据的一些思路整理(基于React.JWT技术) 登录.登出和数据请求是两种不同的数据交互方式,是互相独立的. 登录.登出基于 JWT(JSON WEB TOKEN) 技术,通 ...
- 2018年美国大学生数学建模竞赛原题、翻译及思路整理
参加了2018年的美赛,整理了一些参考资料,需要的话就拿去吧. 具体内容是:2018年美国大学生数学建模竞赛原题.翻译及思路整理,有兴趣的小伙伴可以看看 链接:https://pan.baidu.co ...
最新文章
- 搭建lamp环境QA
- 一万的阶乘c语言方法,求10000的阶乘(c语言代码实现)
- Google新作Synthesizer:我们还不够了解自注意力
- VTK:图像迭代器用法实战
- 5G新基建边缘计算乘风破浪
- 机器学习之--数据构造,函数图显示
- 截图软件 snipaste
- C++ multiset 相同元素
- qt自定义qtablemodel实现改变item的背景色
- 如何做好信息化和数字化建设,看这一篇就够了--童亚斋
- 2016ICPC北京现场赛打铁退役之旅
- 普中科技51单片机-单核-A2开发板实现简易计算器功能(矩阵键盘操作+数码管显示)
- Canvas实现龙卷风动态效果
- 劳务派遣有五险一金吗?
- 2021年中国全自动棉纱缠绕机市场趋势报告、技术动态创新及2027年市场预测
- 高数——定积分计算大法之换元法
- ffmpeg.wasm前端实现多张图片合成视频
- 微信开放平台开发第三方授权登陆(二):PC网页端
- sql server2012 分页查询语句
- 971. 翻转二叉树以匹配先序遍历