引用

Liu X, Zhang H, Cheung Y, et al. Efficient single image dehazing and denoising: An efficient multi-scale correlated wavelet approach[J]. Computer Vision and Image Understanding, 2017, 162: 23-33.

摘要

雾霾的影响：Images of outdoor scenes captured in bad weathers are often plagued by the limited visibility and poor contrast, and such degradations are spatially-varying.

提出的方法：Differing from most previous dehazing approaches that remove the haze effect in spatial domain and often suffer from the noise problem, this paper presents an efficient multi-scale correlated wavelet approach to solve the image dehazing and denoising problem in the frequency domain. To this end, we have heuristically found a generic regularity in nature images that the haze is typically distributed in the low frequency spectrum of its multi-scale wavelet decomposition. Benefited from this separation, we first propose an open dark channel model (ODCM) to remove the haze effect in the low frequency part. Then, by considering the coefficient relationships between the low frequency and high frequency parts, we employ the soft-thresholding operation to reduce the noise and synchronously utilize the estimated transmission in ODCM to further enhance the texture details in the high frequency parts adaptively. Finally, the haze-free image can be well restored via the wavelet reconstruction of the recovered low frequency part and enhanced high frequency parts correlatively.

结果说明：The proposed approach aims not only to significantly increase the perceptual visibility, but also to preserve more texture details and reduce the noise effect as well. The extensive experiments have shown that the proposed approach yields comparative and even better performance in comparison with the state-of-the-art competing techniques.

引言

（1）雾霾图像对一些任务造成的影响以及去雾的必要性说明。

空域发展线路：

（2）有相关人士采用场景对比度增强的方法去雾，但这些方法并没有考虑雾度厚度的差异，这与物体的深度有关。接着出现了一些增加额外信息和多图像去雾的方法，虽然该类方法能够提高模糊图像的可视性，并产生令人印象深刻的效果，但在实际应用中无法获得多幅图像的情况下，用户在不断变化的场景中指定的交互输入可能并不容易获得。（3）使用合理的先验或假设，但在假设不成立的的情况下，去雾模型无效；（4）暗通道类的方法出现；但是：目前的方法都是在空域spatial domain上进行去雾。

时域发展线路：

（5）du等人（2002）首先将高分辨率卫星图像分解成不同的空间层，然后利用频率特性来实现雾霾的去除。然而，这种方法在目前的形式中的主要缺点是选择分解级别并预先收集一个无雾参考图像。此外，该方法没有考虑不同空间层的系数关系，不适合于自然图像的模糊去除。随后，Rong and Jun (2014)对小波变换进行了处理，实现了图像去噪，采用了非锐化掩模算法提高了图像对比度，采用双阈值算法提高了细节的清晰度。然而，这种方法往往会导致模糊重建，视觉性能有点差。其主要原因在于，直接的非线性补偿增强会改变系数关系，使得小波重构无法保留原始纹理细节。尽管这些显著的进展已被开发用于烟雾去除，但当输入的模糊图像含有明显的噪声时，上述方法可能无效。

提出方法

在本文中，我们提出了一种使用多尺度相关小波框架的单图像去雾的新框架。与最近消除空间域中雾霾效应的流行方法相反，我们的工作处理频域中的去雾问题，并且与（Du等，2002; Rong和Jun，2014）的方法不同。 Du等人的方法（2002）高度依赖于同一场景的另一个无阴影参考图像，而Rong和Jun（2014）的方法没有考虑物理场景深度。相比之下，我们提出的方法在物理模型下获得雾度并且可以在单个输入中消除雾度效应，这通过提供以下三个贡献来改进最先进的方法：

1）利用雾度通常分布在低频谱，我们提出一个开放的暗通道模型，以有效地降低该部分的雾霾效应;

2）我们的去雾框架是第一个同时利用小波系数关系进行雾霾去除和纹理增强的关系;

3）所提出的方法不仅旨在显着提高雾霾场景的感知可见度，而且还旨在降低噪声效应。实验表明其出色的表现。

提出的方法

step1. 低频去雾

假设子图像I的intensity值规划化到[0,1]，因此J和t约束为:

这里：

因此求解t的过程可以等同为最小化问题：

step 2. 高频去噪和纹理细节增强

增加软阈值操作：

step 3. 小波重建

低频去雾，高频去噪后的图像有一点暗淡，增加其曝光得到更好的视觉效果。

实验结果

对比方法：

Tan (2008),

Fattal (2008),

Kratz and Nishino (2009),

Tarel and Hautiere (2009),

Gibson and Nguyen (2013),

He et al. (2011),

Meng et al. (2013),

Zhu et al. (2015),

Berman et al. (2016)

1. 去雾表现

Tan（2008）能够增强图像对比度并极大地改善场景可视性，恢复的场景内的颜色外观经常过饱和（例如，天鹅），并且一些晕圈伪像通常出现在恢复的边缘周围。主要原因在于，只有当某些像素的强度低于零时才能最大化可见性，并且这种假设在实践中并不是物理上有效的。
通过利用自然图像和深度统计的先验，Kratz和Nishino（2009）采用了一种可靠的MRF来模拟雾状图像，并且可以获得美学上令人愉悦的结果。然而，该方法通常倾向于低估透射率并因此诱发一些晕圈伪影（例如，树木）。
Fattal（2008）选择通过使用足够的颜色信息和方差来估计透射率，通过该颜色信息和方差可以显着降低雾度效应。不幸的是，如果雾度非常密集，颜色信息将非常微弱，因此对于场景增强会错误地估计传输。
Tarel和Hautiere（2009）以及Gibson和Nguyen（2013）通过分别对观察到的图像的最小成分应用快速中值滤波器和自适应维纳滤波器来估算大气面纱，其中包含线性优势复杂。然而，通过这两种方法获得的去雾结果在视觉上并不十分引人注目，并且由于未被去除的雾度，一些细节在黑暗区域中丢失。
Meng等人（2013）由于沿纹理边缘的传输估计不准确，也导致了较差的去雾性能。
He等（2011），Zhu等人（2015）和Berman等（2016）因其鲁棒性而广为人知。在对这些方法进行深入研究后，我们发现基于patch-based的DCP方法（He et al，2011）经常使较近的物体扩张并产生不好的结果。同时，已知用于使传输正规化的消光拉普拉斯算子或导向滤波器实现较少的平滑并且经常将一些纹理细节传递到透射图中。因此，这种类型的方法已经引起远处区域（例如，山和山坡）的对比度的整体降低。
为了消除雾霾，zhu等人（2015）创建了一个线性模型，并在模拟场景深度之前利用了颜色衰减。然而，在相应的去雾结果（例如Mountain）中仍然存在一小部分雾度。主要原因可归因于训练示例对中的困难参数学习。
Berman等人（2016）已经产生了相当具有视觉吸引力的结果，但也可能导致某些地区（例如佛罗伦萨图像中的房屋和曼哈顿岛中的房屋）表现不佳。
相比之下，我们提出的方法比这些竞争技术产生了相当甚至更好的结果。值得注意的是，所提出的方法不仅显着改善了远景的可见度，而且还增强了纹理细节并同时保持了原始的颜色外观。此外，我们恢复结果中的晕圈伪影非常小。

2. 质量评估对比

实际中雾霾会减少场景中的可见边缘和纹理信息，因此可以通过三个参数来评估：

visible edge ratio e：恢复后增加的可见边占比；越大代表恢复更多的信息，负数代表边缘丢失；
gradient ratio r ̄ ：平均能见度增强程度；越大代表恢复更多的信息；
saturated pixel ratio σ ：恢复后完全变白或变黑的像素占比；越小代表损失越少的信息；

3. 去雾和去噪

存在的问题：现在许多去雾算法不能同时去噪。因为噪声可能会对去雾结果造成影响。

椒盐噪声（salt and pepper noise）---会影响图像的白色和黑色像素

选取的方法：提出的方法选择将模糊图像分解成低频部分和高频部分，从而可以在低频部分很好地估计传输，并且高斯噪声几乎留在高频部分。受益于小波分解，在低频部分可以很好地去除雾度，同时增强纹理细节，并且在高频部分中自适应地降低高斯噪声。因此，如图11所示，提出的方法不仅可以显着增加雾霾场景的感知可见度，而且还可以保留更多的纹理细节并降低噪声效果。

4. 计算时间

设备：Intel® CoreTM i5-3470 GHz 处理器、8GB 内存、 Matlab.

对比方法：He et al. (2011), Zhu et al. (2015) 和 Berman et al. (2016).

原因：

He的方法：soft matting 操作 (He et al., 2011) 包含很多迭代来修正transmission map.
提出的方法：利用 domain transform filter实现快的特点

总结

在本文中，我们提出了一种有效的多尺度相关小波方法，用于图像去雾和去噪。在多尺度小波框架下，雾度通常分布在低频谱中。因此，提出了开放暗通道模型以实现低频雾霾消除，并且导出了有效方案以在高频部分中自适应地去除噪声并增强纹理细节。因此，通过视觉上令人愉悦的纹理信息和忠实的色彩外观，可以显着增加雾霾退化场景的感知可见性。同时，所提出的方法已经证明了其同时消除雾度影响和噪声影响的效率。从小波分解中获益很多，我们提出的除雾框架提供了一个灵活的框架，可以与场景增强的其他有效先验或约束相结合。作为一种有效的图像预处理方法，我们期望我们提出的去雾和去噪算法可以很好地用于各种视觉降级应用。

Efficient single image dehazing and denoising: An efficient multi-scale correlated wavelet approach相关推荐

Trilevel Neural Architecture Search for Efficient Single Image Super-Resolution
Trilevel Neural Architecture Search for Efficient Single Image Super-Resolution 高效单幅图像超分辨率的三层神经架构搜索 ...
FFA-Net: Feature Fusion Attention Network for Single Image Dehazing (AAAI 2020)用于单图像去叠的特征融合注意力网络
用于单图像去叠的特征融合注意力网络 https://arxiv.org/pdf/1911.07559.pdf Xu Qin1*Zhilin Wang2∗Yuanchao Bai1Xiaodong Xi ...
论文阅读：Single Image Dehazing via Conditional Generative Adversarial Network
Single Image Dehazing via Conditional Generative Adversarial Network Runde Li∗ Jinshan Pan∗ Zechao L ...
论文笔记：FFA-Net Feature Fusion Attention Network for Single Image Dehazing
摘要作者提出了一种端到端的特征融合注意力网络(FFA-Net)来直接恢复无雾图像.FFA-Net架构由以下三个主要部分组成: (1)提出了一种新的特征注意(Feature Attention,FA) ...
58——FFA-Net: Feature Fusion Attention Network for Single Image Dehazing
论文信息FFA-Net: Feature Fusion Attention Network for Single Image Dehazing | Papers With Code 在本文中,我们提出 ...
AIPNet: Image-to-Image Single Image Dehazing with Atmospheric Illumination Prior
总结不同色彩空间的广泛统计实验和理论分析表明,朦胧天气中的大气照明主要对YCrCb色空间的亮度通道有很大影响,对色度通道的影响较小. 根据这个先验知识(AIP),作者尝试保持雾场景的内在颜色,并增强 ...
3.Single Image Dehazing via MSCNN-HE 论文阅读
Single Image Dehazing via Multi-scale Convolutional Neural Networks with Holistic Edges 译为:基于整体边缘多尺度 ...
2.Cycle-Dehaze: Enhanced CycleGAN for Single Image Dehazing论文阅读
Cycle-Dehaze: Enhanced CycleGAN for Single Image Dehazing 作者:Deniz Engin, Anıl Genc ,Hazım Kemal Eke ...
【去雾论文阅读】A Novel Fast Single Image Dehazing Algorithm Based on Artificial Multiexposure Image Fusion
题目:A Novel Fast Single Image Dehazing Algorithm Based on Artificial Multiexposure Image Fusion 作者:Zh ...

Efficient single image dehazing and denoising: An efficient multi-scale correlated wavelet approach

摘要

引言

相关工作

1. 大气散射模型（略）

2. 频域率的雾研究

3. 小波分析模型