L2UWE: A Framework for the Efficient Enhancement of Low-Light Underwater
Images Using Local Contrast and Multi-Scale Fusion阅读札记

  论文发表于2020年的CVPRW。

1 Abstract

问题：
  水下拍摄图像通常不能依靠阳光，而人工照明无法均匀地照亮整个场景，且水介质会对光进行吸收与散射，这些因素的综合作用导致水下图像具有暗区域，颜色、对比度和清晰度降低。
本文方法：
  本文提出一种新的单图像低光水下图像增强器L2UWE，通过两个不同的模型生成两个增强图像，一个突出了更精细的细节，另一个专注于消除黑暗，最后采用多尺度融合过程来组合这些图像，在最终结果上突显出高对比度，显著性和色彩饱和度的区域。

2 Previous Works Supporting

2.1 基于暗通道先验的单张图像去雾

（1）成像模型

  下式将有雾图像III的形成描述为两个附加分量之和：直接衰减和大气光：

  JJJ：无雾图像
  xxx：空间位置
  ttt：透射图，表示到达光学系统的光量
  A∞A_∞A∞​：大气光的估计图
  直接衰减项D(x)=J(x)t(x)D(x)=J(x)t(x)D(x)=J(x)t(x)：表示由于介质的特性，场景辐射遭受的衰减。
  大气光项 V(x)=A∞(1–t(x))V(x)=A_∞ (1 – t(x))V(x)=A∞​(1–t(x))：表示由于前向散射光，可能会导致的有雾图像上颜色偏移。
  ⭐去雾工作的目标是通过确定A∞A_∞A∞​和ttt来找到图像JJJ的无雾版本。

（2）暗通道JdarkJ^{dark}Jdark

  何凯明等人提出了暗通道先验（DCP）, 即图像中非天空区域的点在RGB通道上至少有一个通道像素值接近于0。暗通道可描述为：

  暗通道JdarkJ^{dark}Jdark即首先求图像III在像素yyy处的三个通道最小值，然后对得到的单通道图求patch ΩΩΩ的最小值。

（3）大气光A∞cA_∞^cA∞c​

  在前人的研究中，把大气光取值定在图像中雾最不透明的区域，而雾最不透明的区域即雾最浓的区域，也就是暗通道最大值的区域，故可以通过查看暗通道中前0.1%0.1\%0.1%或0.2%0.2\%0.2%最亮的像素来推断大气光A∞c(c∈{R,G,B})A_∞^c (c∈\{R,G,B\})A∞c​(c∈{R,G,B})，然后考虑来自输入图像III的相同坐标中最亮的像素。Ancuti等人[1]发现单一的全局值可能无法代表低照度场景的照明，因此提出公式3估计patch ΨΨΨ内的局部大气光强度AL∞cA_{L∞}^cAL∞c​：

  xxx：局部大气光中的空间坐标
  yyy：“最小”图像Imin(z)=minz∈Ω(y)(I(z))I_{min}(z)=min_{z∈Ω(y)}(I(z))Imin​(z)=minz∈Ω(y)​(I(z))中的空间坐标
  zzz：有雾图像III中的空间坐标
  对于每个颜色通道c∈{R,G,B}c∈\{R,G,B\}c∈{R,G,B}，局部大气光AL∞cA_{L∞}^cAL∞c​的计算方法是：首先找到ImincI_{min}^cIminc​（表示在IcI^cIc上的patch ΩΩΩ内的最小强度）；然后计算在ImincI_{min}^cIminc​上的patch ΨΨΨ内的最大强度。Ancuti等人认为光源的影响超出了patch ΩΩΩ，使用两倍于ΩΩΩ的patch ΨΨΨ。

（4）透射图ttt


  A∞cA_∞^cA∞c​：[0,255][0,255][0,255]范围内的大气光，得到归一化图像(Ic(y)/A∞c)(I^c (y)/A_∞^c )(Ic(y)/A∞c​)范围为 [0,1][0,1][0,1]。
  ωωω：常数ω(0≤ω≤1)ω(0≤ω≤1)ω(0≤ω≤1)保留了一部分雾，产生更真实的输出。
  ⭐请注意，对于大气光的局部估计，在公式4中A∞cA_∞^cA∞c​将由AL∞cA_{L∞}^cAL∞c​代替。

（5）无雾图 JJJ


  由于当t(x)≈0t(x)≈0t(x)≈0时，直接衰减D(x)=J(x)t(x)D(x)=J(x)t(x)D(x)=J(x)t(x)可以接近于零，因此将t0t_0t0​项作为下限添加到t(x)t(x)t(x)中，有效地保留了III的雾度密集区域中的少量雾度。

2.2 用于增强低光图像的对比度引导方法

  Marques等人[2]观察到在整个图像去雾过程中使用单一尺寸patch ΩΩΩ会带来的三个问题：
  （1）小尺寸patch将导致恢复场景的辐射过饱和（非自然色）；
  （2）大尺寸patch更好地估计和消除薄雾，但由于他们认为透射轮廓（即，到达相机的光量）在patch ΩΩΩ内是恒定的，因此在强度不连续周围可能会出现不需要的光晕；
  （3）对于不同比例的图像，单个patch尺寸通常不是最佳的。
  为了确定图像III中每个像素的正确patch大小，Marques等人[2]引入了对比码图像（CCICCICCI），计算如下：

  Ωi(x)∈IΩ_i (x)∈IΩi​(x)∈I：以空间坐标xxx为中心，大小为(2i+1)×(2i+1)(i={1,2,…,7})(2i+1)×(2i+1)_{(i=\{1,2,…,7\})}(2i+1)×(2i+1)(i={1,2,…,7})​的正方形patch。
  σσσ：patch ΩiΩ_iΩi​内强度的标准差（考虑三种颜色通道）。
  因此，CCICCICCI由iii填充，表示在每个像素位置xxx生成最小的σσσ的patch大小。还引入了一个名为公差的变量，通过改变不同iii的σσσ值来激励使用更大的patch尺寸。
  使用CCI计算透射图和暗通道。对于像素位置xxx，可以使用大小为(2c+1)×(2c+1)(2c+1)×(2c+1)(2c+1)×(2c+1)（其中c=CCI(x)c=CCI(x)c=CCI(x)）的patch，而不是固定大小的patch。这种对比引导的方法显著缓解了上述三个问题。

2.3 用于图像增强的多尺度融合

  Ancuti 等人[1]提出，首先通过原图计算出两个输入图像Jk(k={1,2})J^k (k=\{1,2\})Jk(k={1,2})（白平衡版本+对比度增强版本）来执行去雾，然后计算出每个输入JkJ^kJk的重要特征的三个权重图：
  （1）亮度WLkW_L^kWLk​：为具有良好可见性的像素分配高权重值，该权重图是通过观察JkJ^kJk的R、G和B颜色通道与亮度 LLL（给定位置的像素强度平均值）之间的偏差得到的；
  （2）色度WCkW_C^kWCk​：控制输出图像的饱和度增益，可以通过测量每个颜色通道与输入图像的标准差来计算；
  （3）显著性WSkW_S^kWSk​：突出具有更大显著性的区域，通过将输入的平均值减去其高斯平滑后的结果来获得。
  为了最小化权重图组合引入的视觉伪影，Ancuti等人[1]使用多尺度融合过程，其中针对每各输入图像的归一化权重图W‾k\overline{W}^kWk（即所有三个权重的乘积之间以及它们的和之间按像素划分）计算高斯金字塔，而输入图像JkJ^kJk分解为拉普拉斯金字塔。假设两个金字塔的层数相同，可以使用下式独立融合：

  lll：层数（通常为5）
  L{I}L\{I\}L{I}：III的Lapacian
  G{W‾}G\{\overline{W}\}G{W}：W‾\overline{W}W的高斯平滑版本
  在应用适当的上采样算子之后，融合结果是来自不同层的贡献的总和。

3 Method

  Marques等人[2]提出的对比度引导方法是建立在光源是白色的假设之上，在阳光下的空中有雾图像中效果很好，但不能正确地表示低光场景，因为低光场景可能呈现不均匀或非白色照明。在低光图像使用这种方法会导致图像中部分区域增强过度，纹理模糊。
  针对以上问题，本文提出L2UWE模型，将局部对比度信息视为指导参数，以推导两个不同“透镜”下的照明分布模型：
  （1） 使用较小的局部区域，捕获原始图像的更精细的细节。
  （2） 使用较大的局部区域，创建更明亮的模型。
  L2UWE 首先在图像的反转版本中计算CCI，其次使用基于对比度的暗通道导出两个考虑局部照明的大气照明模型，再次两个传输图生成多尺度融合过程的输入，接着为每个输入计算三个权重图，最后将其组合以提供框架的输出。L2UWE的pipeline如下图所示：

3.1 用于图像增强的多尺度融合用于低光场景的对比度感知局部大气照明模型

  使用暗通道的部分来为水下图像推导单个全局估计A∞A_∞A∞​会产生过亮和褪色的结果，且单个全局估计A∞A_∞A∞​无法正确模拟水下图像的光照非均匀性。L2UWE通过计算每个颜色通道的大气光照以及在确定光照的局部估计时考虑每个空间位置x处的CCI代码来解决这些问题。这种方法类似于公式3中描述的方法，但没有使用固定大小的patch ΨΨΨ，而是引入了对比度引导的patch ΥΥΥ用于照明计算。
  据观察，具有较高对比度的区域（CCI中代码ccc较低）由于基于照明源对其的异质影响，应考虑较大的ΥΥΥ来建模其局部照明组件；具有较低对比度的区域（CCI中代码ccc较高）以大致均匀的方式照明，因此只需要研究较小的patch ΥΥΥ来正确模拟局部照明。
  本文在公式8中提供了这种推理的形式化，其中规定了CCI代码ccc和局部大气照明模型计算中使用的照明方形patch ΥΥΥ大小之间的关系：

  mmm：任意乘法因子
  ccc：表示CCI中某个位置的代码，c={1,2,...,7}c=\{1,2,...,7\}c={1,2,...,7}。
  参数mmm对对比度引导的patch具有乘法效应，但还添加了一个偏移量以根据patch大小逐步约束它：较小的patch将比较大的patch受到更大的影响。例如，对于m=15m=15m=15和CCI(x)=1CCI(x)=1CCI(x)=1的位置xxx，patch Υ(x,m)Υ(x,m)Υ(x,m)的尺寸为SΥ(15,1)×SΥ(15,1)S_Υ (15,1)×S_Υ (15,1)SΥ​(15,1)×SΥ​(15,1) 或45×4545×4545×45。类似地，对于m=15m=15m=15和CCI(x)=5CCI(x)=5CCI(x)=5（较低对比度），patch Υ(x,m)Υ(x,m)Υ(x,m)的尺寸为25×2525×2525×25。
  通过使用对比度感知patch ΥΥΥ和倍增因子mmm，将颜色通道ccc的局部、对比度引导的大气强度ALCG∞cA_{LCG∞}^cALCG∞c​定义为：

  ALCG∞c(x,m)A_{LCG∞}^c (x,m)ALCG∞c​(x,m)（公式9）和AL∞c(x)A_{L∞}^c (x)AL∞c​(x)（公式3）之间的主要区别在于前者使用对比度感知patch Υ(x,m)Υ(x,m)Υ(x,m)，而后者使用固定大小的patch Ψ(x)Ψ(x)Ψ(x)。
  由于ALCG∞cA_{LCG∞}^cALCG∞c​是针对每个颜色通道ccc计算的，因此通过最大化对比度感知 patch Υ(x,m)Υ(x,m)Υ(x,m)，实际上是在确定局部位置yyy，在该局部位置yyy处，某个颜色通道ccc的辐射亮度在ImincI_{min}^cIminc​中最大（即，特定于颜色ccc的暗通道）。下图比较了使用ALCG∞A_{LCG∞}ALCG∞​和A∞A_∞A∞​获得的不同大气照明模型。

  使用σ=10σ=10σ=10的高斯核对ALCG∞A_{LCG∞}ALCG∞​进行滤波，以防止在通过大气照明对输入图像进行归一化时产生突然的方形强度不连续性（“光晕”）。与A∞A_∞A∞​不同，ALCG∞A_{LCG∞}ALCG∞​捕捉照明的颜色特征，以及其在整个图像中的局部分布。

3.2 融合过程

  mmm越高，照明模型越亮，这会使得图像不那么暗，但也可能使局部区域强度接近饱和。为了平衡，本文推导出两个ALCG∞A_{LCG∞}ALCG∞​（m=5m=5m=5和m=30m=30m=30）。这些照明模型与公式4一起确定两个透射图。这些图使用快速引导过滤器进行过滤，最后用于恢复原始图像的两个无雾版本（公式5）。
  使用每个ALCG∞A_{LCG∞}ALCG∞​获得的图像增强结果作为多尺度融合过程的输入Ik(k={1,2})I^k (k = \{1,2\})Ik(k={1,2})。下图显示了使用m={5,30}m = \{5,30\}m={5,30} 为 OceanDark 样本生成的两个输入：
  通过融合不同ALCG∞A_{LCG∞}ALCG∞​生成的输入保留了增强图像的两个重要方面：
  （1）m=30m=30m=30时有效去除输入图像的暗度（图3右），
  （2）m=5m=5m=5时有效去除输入图像的边缘、纹理和整体强度变化（图3中）。
  为了正确组合这两个输入，本文方法为每个输入计算 三个权重图：
  显著性权重图WSkW_S^kWSk​：将输入kkk的高斯平滑图IkGsI_k^{G_s }IkGs​​减去输入kkk的平均强度值IkμI_k^μIkμ​：
  xxx：输入kkk的空间位置
  IkGsI_k^{G_s}IkGs​​：使用5×5(116[1,4,6,4,1])5×5(\frac{1}{16}[1,4,6,4,1])5×5(161​[1,4,6,4,1])高斯核获得

  亮度权重图WLkW_L^kWLk​：考虑到饱和颜色在R、G、B颜色通道中的一个或两个中呈现更高的值：

  LkL^kLk：在每个空间位置，输入kkk的R、G、B强度的平均值
  Rk,Gk,BkR^k,G^k,B^kRk,Gk,Bk：输入IkI^kIk的三个颜色通道

  局部对比度权重图WLConkW_{LCon}^kWLConk​：负责突出局部强度变化较大的输入IkI^kIk区域，通过应用一个在LkL^kLk上的18[−1−1−1−18−1−1−1−1]\frac{1}{8}\left[\begin{matrix}-1&-1&-1\\-1&8&-1\\-1&-1&-1\end{matrix}\right]81​⎣⎡​−1−1−1​−18−1​−1−1−1​⎦⎤​拉普拉斯核来计算。

  将三个权重图（WLConkW_{LCon}^kWLConk​、WLkW_L^kWLk​、WSkW_S^kWSk​）组合成归一化权重映射W‾k\overline{W}^kWk，从中导出5级高斯金字塔GW‾kG{\overline{W}^k}GWk。下图说明了为一个输入图像计算的三个权重图，以及它们的等效归一化权重图：

  将每个输入IkI^kIk分解为5级拉普拉斯金字塔LIkL{I^k}LIk，然后使用等式7执行多尺度融合，L2UWE的输出减少了原始图像的暗度，保留了颜色并增强了重要的视觉特征，如下图所示：

4 Experiment

4.1 定性结果

4.2 定量结果

References

[1] Ancuti C O, Ancuti C. Single image dehazing by multi-scale fusion[J]. IEEE Transactions on Image Processing, 2013, 22(8): 3271-3282.
[2] Porto Marques T, Branzan Albu A, Hoeberechts M. A contrast-guided approach for the enhancement of low-lighting underwater images[J]. Journal of Imaging, 2019, 5(10): 79.

L2UWE: A Framework for the Efficient Enhancement of Low-Light Underwater Images阅读札记相关推荐

  1. 低光图像增强论文：Self-supervised Image Enhancement Network: Training with Low Light Images Only阅读笔记

    论文地址:https://arxiv.org/abs/2002.11300 项目地址:https://github.com/hitzhangyu/Self-supervised-Image-Enhan ...

  2. 【阅读笔记】低照度图像增强-《Fast efficient algorithm for enhancement of low lighting video》

    本文介绍的是一种比较实用的低照度图像增强效果很好的方法,Xuan Dong论文<Fast efficient algorithm for enhancement of low lighting ...

  3. 论文速读：自监督弱光图像增强：Self-supervised Image Enhancement Network: Training with Low Light Images Only

    Self-supervised Image Enhancement Network: Training with Low Light Images Only Yu Zhang, Xiaoguang D ...

  4. Learning Temporal Consistency for Low Light Video Enhancement from Single Images

    Learning Temporal Consistency for Low Light Video Enhancement from Single Images 论文链接:CVPR链接 期刊/会议:C ...

  5. EnlightenGAN：Deep Light Enhancement Without Paired Supervision阅读札记

    EnlightenGAN:Deep Light Enhancement Without Paired Supervision阅读札记   论文发表于2021年的TIP. Abstract    本文提 ...

  6. LIME Low light Image Enhancement via Illumination Map Estimation

    文章目录 LIME: Low-light Image Enhancement via Illumination Map Estimation 0 Abstract and Introduction 1 ...

  7. 《CASCADED TIME + TIME-FREQUENCY UNET FOR SPEECH ENHANCEMENT:JOINTLY ADDRESSING CLIPPING》论文阅读

    论文的全称是<CASCADED TIME + TIME-FREQUENCY UNET FOR SPEECH ENHANCEMENT: JOINTLY ADDRESSING CLIPPING, C ...

  8. A Two-stage Unsupervised Approach for Low light Image Enhancement（一种两阶段无监督的微光图像增强方法）

    主要参考文献及其收获 Unpaired image-to-image translation using cycle-consistent adversarial networks Deep reti ...

  9. 论文笔记：Integrating Semantic Segmentation and Retinex Model for Low Light Image Enhancement

    来源:Proceedings of the 28th ACM International Conference on Multimedia (2020) 目录 Contributions Mothol ...

最新文章

  1. 【TensorFlow】笔记５：图像数据处理
  2. .NET Core 服务在 ARM64 服务器中的部署
  3. java 绑定微信号开发_Java开发中的更多常见危险信号
  4. Python练习-从小就背不下来的99乘法表
  5. C#对象初始化的探讨
  6. 删除进程id_Mysql新增删除数据失败，提示锁表
  7. 如果检测到有老版本存在就先卸载老版本才形始新的安装过程
  8. hdu1403 赤裸裸的后缀数组
  9. redis3.2版本protected-mode参数
  10. mysql建立索引_MySQL 索引及优化实战（一）
  11. 色彩原理-色相、明度、纯度
  12. vue中自己实现的页面切换标签手动关闭功能
  13. 机器人运动学仿真笔记
  14. 大地坐标与地心坐标相互转换 （WGS84，西安80，北京54， China200）C++
  15. 古风android游戏,橙光古风虐恋情深游戏
  16. 经典文献阅读之--Cam2BEV
  17. 共享创业新契机--共享陪护床
  18. 2008-2010：中国医疗器械公司规模排名前20名
  19. 什么是决策支持系统？
  20. MCP4822（DA转换芯片）使用方法

热门文章

  1. 再见postman，被这个一站式接口管理工具折服了
  2. 实时网速监测app_实时网速-实时网速app安卓版下载v1.0-我爱秘籍
  3. 2020_CIKM_Partial Relationship Aware Influence Diffusion via a Multi-channel Encoding Scheme for Soc
  4. Photoshop技巧：[2]如何抠头发？
  5. 电路课组（一）电路原理 Review 1 线性电路分析基础
  6. mysql ansi sql标准_Mysql数据库隔离级别(ANSI SQL92规范，行锁，间隙锁)
  7. DenseTNT翻译
  8. ce查找人物基址_关于CE找基址的一些基础概念
  9. SEO主要是做什么的？零基础能学习吗？
  10. 淘宝/天猫按图搜索商品API接口，以图搜商品API接口,图片搜索API接口