（论文阅读）2022年一些图像去雾方法的简单调研
2022年一些图像去雾方法的简单调研
1. Self-augmented Unpaired Image Dehazing via Density and Depth Decomposition 基于密度和深度分解的自增强未配对图像去雾
- 在合成的去雾数据集上训练的图像去雾方法存在过拟合问题，现有一些方法使用非成对数据进行训练以提高模型泛化能力。不过大多数方法都是简单的使用去雾和加雾循环，忽视了真实雾霾图像的物理成像性质，雾霾浓度和深度。本文提出了一种自增强图像去雾框架，通过将传输图分解为密度和深度进行图像去雾。通过探索场景的深度信息和雾霾散射因子，有助于去雾网络的进一步训练。并且本文方法只需要非成对的雾霾-清晰图像。
- 这个论文之前在B站看到过作者的pre，具体的链接可以在B站上搜到这里就不放了。当时给的评价就是这篇论文实际上类似于CycleGAN和物理方法的结合，这两种方法最早的论文应该在19年或者20年就有了。现在在RESIDE上刷点的方法确实也没多少创新和实际效果，很多方法现在都结合了雾霾场景物理模型，在真实雾霾图像下的效果也更加优越，不过此类方法很容易出现色彩失真，在本文的实验结果中也有体现。
- 作者在conclusion中也指出，本文的方法仍存在局限性，即对极亮区域的透射率估计过高，会导致深度估计网络对过亮区域的深度值预测较低。
2. Depth aware image dehazing 深度感知图像去雾
- 图像去雾的目的是去除雾霾噪声和复原图像内容，其中的困难是雾霾噪声分布不均匀与图像内容变化繁多。现有方法使用卷积神经网络通过盲端到端训练学习去噪过程，这严重依赖训练集中的雾霾噪声分布。此外，雾霾噪声的分布与图像深度有关，这表示了场景到成像设备之间的距离。本文基于传统生成对抗网络的框架，提出了一个深度感知方法用于预测深度图并且在一个联合框架中为去噪过程提供深度特征。通过将深度特征融合到去雾网络，更有利于去雾模型分离图像内容和不同程度的雾霾。此外，该方法可以方便地部署到基于CNN的去雾方法中。
- 从真实雾霾图像去雾效果来看，结合了深度特征的去雾效果是较为显著的，不过没有结合成像模型，在较远处的雾霾仍然无法去除并且近远景差别较为明显。在消融实验中显示，是否使用深度特征对模型性能影响是非常巨大的（PSNR +5.64dB），如果数据真实，这个结构是非常值得采用的。
- 模型的网络结构其实是两个GAN网络，先训练固定第一个深度估计GAN，然后训练去雾GAN，循环迭代。模型完全固定后，其实是需要两个生成器都得工作的，因此推理时间会相对较长。此外，作者在abstract中说该方法可以非常简单的插入到CNN-based去雾方法中，但是缺少了该部分的实验
3. Towards Multi-domain Single Image Dehazing via Test-time Training 基于测试时间训练的多域单幅图像去雾
- 现有的大多数方法在单一数据集上进行训练和测试时表现良好。然而，它们无法使用在特定数据集上训练的去雾模型来处理不同类型的雾霾图像。一种可能的补救方法是联合对多个数据集进行训练。然而，我们观察到这种训练策略往往会损害模型在单个数据集上的性能。基于这一观察结果，我们提出了一种测试时间训练方法，该方法利用助手网络来帮助去雾化模型更好地适应感兴趣的领域。在测试期间，辅助网络对去雾结果的质量进行评估，然后通过自监督的方式指导去雾网络通过调整参数来提高去雾质量。然而，包含辅助网络并不能自动确保预期的性能改进。为此，我们采用了一种元学习方法，以使去雾网络和辅助网络的目标相互一致。
- 这篇文章还是蛮有意思的，将在不同数据集上的图像去雾问题看作多域学习问题，采用一个辅助网络优化去雾网络的参数和性能（只需要使用雾霾图像–自监督）。其中存在的一个问题是辅助网络的重建损失最小化和去雾网络的去雾损失最小化方向是不一致的(消融实验也验证了这一点)，这意味着去雾网络的输出会与GT图像相差甚远，但是能被辅助网络用于生成一个接近雾霾图像的重构雾霾图像。为此，作者提出了一种元学习方式，使用辅助网络的重构损失更新去雾网络的参数得到元参数，然后用元参数网络计算去雾损失更新去雾网络参数。
- 实验结果的提升其实是非常小的，在每个方法上都只有不到0.15dB的性能提升，与Single-domain相差约0.3~0.95dB，还有很大的改进空间。作者也表示只三个去雾模型和四个数据集上进行了实验，后续应在更大规模的方法和数据集上进行实验验证。
4. Rethinking Performance Gains in Image Dehazing Networks 重新思考图像去雾网络的性能增益
- 本文致力于探究图像去雾网络中的关键设计如何影响性能增益。除了常用的多尺度结构和残余学习，有效利用注意机制是提高指标的关键。具体而言，本文提出了gUNet，利用特征融合模块中的通道注意机制提取全局信息，用栅格机制取代像素注意和非线性激活函数，对空间变化的传输映射进行建模。更重要的是，本文进行了大规模的消融研究，表明图像去雾网络的性能增益主要来自于注意机制、非线性激活函数、全局信息提取、归一化层和训练迭代次数。
- 本文分析每个结构对于图像去雾性能的影响，设计了一个简单高效的图像去雾模型。然而，文中的实验结果大都是对于合成数据集的测试结果，虽然在RESIDE-SOTS数据集上达到了超越DehazeFormer的结果，但缺少真实雾霾图像的去雾主观对比。按照个人经验，其实注意力结构在合成数据集上是有效但也是过拟合的，在真实雾霾图像中没有任何作用，输出图片与输入图片基本是没有变化的。
5. Dual-Scale Single Image Dehazing Via Neural Augmentation 基于神经增强的双尺度单幅图像去雾
- 基于模型的单幅图像去雾算法以合成图像的低PSNR和SSIM值为代价，为真实世界的雾霾图像恢复边缘锐利、细节丰富的无雾霾图像。数据驱动的方法对于合成的雾霾图像具有较高的PSNR和SSIM值，但对比度较低，对于真实的雾霾图像甚至有一些残留的雾霾。本文将基于模型和基于数据的方法相结合，提出了一种新的单幅图像去雾算法。首先采用基于模型的方法估计传输图和大气光，然后采用基于双尺度生成对抗网络(GANs)的方法进行细化。该算法形成了一种收敛速度非常快的神经增强算法，而相应的数据驱动算法可能不会收敛。利用估计的透射图和大气光以及科施米德定律对无雾霾图像进行恢复。
（论文阅读）2022年一些图像去雾方法的简单调研相关推荐
- Single Image Haze Removal Using Dark Channel Prior 基于暗原色先验的单一图像去雾方法【翻译】
Single Image Haze Removal Using Dark Channel Prior Kaiming He, Jian Sun, Xiaoou Tang The Chinese Uni ...
- 导向滤波算法 java_一种基于双通道先验和侧窗导向滤波的单幅图像去雾方法与流程...
本发明属于计算机图像处理的领域,用于图像或者视频去雾等相关领域:具体涉及一种基于双通道先验和侧窗导向滤波的单幅图像去雾方法. 背景技术: 图像采集过程中,由于雾天的影响,使得景物的能见度大幅降低,再加 ...
- 小波变换去雾matlab代码,一种基于小波变换的图像去雾方法
一种基于小波变换的图像去雾方法 摘要:为获得雾天 关键词:小波变换;Mallat算法;单尺度Retinex;同态滤波 中图分类号:TN957.52文献标识码:A 文章编号:1009-3044(2020 ...
- [论文阅读] (11)ACE算法和暗通道先验图像去雾算法（Rizzi | 何恺明老师）
<娜璋带你读论文>系列主要是督促自己阅读优秀论文及听取学术讲座,并分享给大家,希望您喜欢.由于作者的英文水平和学术能力不高,需要不断提升,所以还请大家批评指正,非常欢迎大家给我留言评论,学 ...
- 【计算机视觉课程设计】基于暗通道先验单幅图像去雾算法的实现（MATLAB）
声明:原创内容,创作不易,欢迎点赞收藏~ 摘 要 随着信息化时代的到来,计算机视觉得以迅速发展,在社会生活中的各个领域发挥了重要作用.然而,近年来大气污染逐渐加重,雾霾天气出现的频率越来越高,导 ...
- 去雾综述_【综述】图像去雾的前世今生
1. 前言 其实之前对图像去雾也没有什么深入的理解,只是了解,实现过一些传统的图像去雾方法而已.个人感觉,在CNN模型大流行的今天,已经有很多人忽略了传统算法的发展,以至于你今天去搜索10年前的传统去 ...
- 去雾综述_图像去雾的算法历史与综述
图像去雾的算法历史与综述 1. 前言 其实之前对图像去雾也没有什么深入的理解,只是了解,实现过一些传统的图像去雾方法而已.个人感觉,在CNN模型大流行的今天,已经有很多人忽略了传统算法的发展,以至于你 ...
- 【Gated Context Aggregation Network for Image Dehazing and Deraining用于图像去雾和去雨的门控上下文聚合网络】，个人笔记，勿喷
摘要 图像去雾旨在从模糊图像中恢复未损坏的内容.我们没有利用传统的低级或手工图像先验作为恢复约束,例如暗通道和增加的对比度,而是提出了一个端到端的门控上下文聚合网络来直接恢复最终的无雾图像.在这个网络 ...
- 机器学习实践系列之13 - OpenCV之图像去雾
图像去雾 是图像质量保证的一个重要方面,这里要讲到的是这个领域的一个里程碑式的贡献: 来自 何凯铭 的基于 暗原色先验(dark channel prior)的单一输入图像去雾方法,这是一种简单但是有 ...
最新文章
- 51nod1238 最小公倍数之和 V3
- 4.Azure创建点到站点的***隧道（下）
- exchange 2013 lesson 4 - installing
- 决战9小时，产品上线的危机时刻
- java ee cdi_Java EE CDI限定词：快速浏览
- Pytorch 加载预训练模型参数时出现size mismatch错误
- c语言float二进制输出代码_下面C语言中这十四大谜题，不看答案你能做出来吗？...
- New Bus Route
- Java核心篇之泛型--day5
- 计算机组成原理之磁盘
- hashmap 允许key重复吗_HashTable和HashMap的区别详解
- Kafka与.net core（一）安装
- python路径怎么查看_：怎么查看python的安装路径
- wpf获取当前窗体的屏幕坐标
- R语言 聚类分析代码 系统聚类 K均值聚类 可视化
- VHDL实现矩阵键盘
- 【计算机组成原理】实验2：十六位数据总线实验
- 【王道考研】信号量机制
- 【Chrome-Charset】Chrome设置字符集
- ./config.status --recheck 而发现的error的根因与解决方案