报告视频链接：[ValseWebinar] 去雨去雾专题报告_哔哩哔哩_bilibili

1 Bridging the gap between low level vision and high level tasks——任文琦

1.1 图像去雾

即从低可见度的图像中恢复出图像的色彩信息、对比度信息等。

传统的方法往往是基于物理模型I(x)=J(x)t(x)+A(1-t(x))，其中I(x)是有雾的图像（Hazy image），J(x)是原图像对应的场景（scene），A是大气光照，t(x)是传输率（transmission），满足

图像去雾的过程就是在已知I(x)的情况下推算出A和t(x)，从而还原出J(x)。

目前的图像去雾主要有两种，一种是基于先验知识的图像去雾，另一种是基于深度学习的图像去雾，其中，基于深度学习的图像去雾也有两个方向，一种是基于物理模型估计传输率和大气光照，另一种是端到端的框架，直接学习从有雾图像到去雾图像的映射关系。

由于噪音、折射等诸多因素，上述的物理模型只是个近似模型，因此端到端的框架相比物理模型更适合进行图像去雾工作，但端到端框架的训练难度大，容易出现颜色偏差等问题。由此考虑将端到端的模型的训练任务进行弱化处理，先对输入的雾霾图像进行预处理的增强，比如调整白平衡、调整对比度、伽马矫正等，再构造网络求解预处理得到的图片的权重图，去除权重较低的元素，保留权重较高的元素，进行加权求和得到去雾图像。

实验过程中发现，调整白平衡是必须的，增强对比度这个操作容易丢失细节，相比之下伽马矫正效果更好。

光圈效应是图像去雾中比较常见的问题，为解决这个问题，此处借鉴了多尺度网络的工作，先对图像进行下采样，再进行去雾处理，再进行上采样之后即可缓解光圈效应。

目前的图像去雨去雾的效果主要依赖于合成图像，对效果的评价也偏向主观。

1.2 数据集

此处提出了两个数据集，一个是去雾数据集RESIDE，另一个是去雨数据集MPID。

RESIDE数据集中的图像既有根据物理模型合成的室内和室外图像，用于训练，也有4322张真实的真实图像，并对图像中的人、车等进行了标注，可用于目标检测，MPID数据集的构建和它类似。

1.3 效果评价

之前的评价标准主要是基于人眼的，主观因素较大。此处主要采取如下评价方法：先用多种不同方法进行去雾，再将去雾后的图像放入目标检测算法中，观察去雾图像对目标检测算法的效果的影响。

经过实验发现，大部分算法生成的去雾图像会使得目标检测算法的效果变差，由此，在后续的工作中可以考虑从算法的角度进行改进，使得图像去雾不仅会改善人眼视觉的效果，也能改善模型的效果，从而达到预处理的效果。

经过实验发现，使用半监督学习进行图像去雾后的图像对目标检测网络的效果有了一定改善，并且训练图像中真实雾霾图像的占比较高时，效果会更好。

1.4 图像去雨：深度分解组合网络

使用encoder+decoder结构，把输入的雨图分解为两个分量，一个是没有雨滴的背景图像，另一个是带雨滴的图像，即：

再将两个分量组合为原始的雨图。

1.5 展望

图像去雨去雾方向待解决的问题：

①真实图像和合成图像有区别，使用合成图像训练出的网络不一定会取得更好的泛化能力：考虑使用真实图像进行训练（数据集收集难度大），或者使用更好的生成或渲染方式生成更接近真实的图像

②图像去雨去雾不仅要为人眼服务，还要作为一种预处理程序为机器服务，促进后续的工作

代码链接：https://github.com/rwenqi/GFN-dehazing

论文链接：ReadPaper

2 Learning -based Methods for Single Image Restoration and Translation——张赫

2.1 Single Image De-raining：

主要有两种方式，一种是基于先验知识的图像去雨，另一种是基于深度学习的。

本次报告介绍的工作：

《Density-Aware Single Image De-Raining Using a Multi-Stream Dense Network》

CVPR 2018 Open Access Repository

动机：由于图像中的雨势有大有小，图像去雨中容易出现over-deraining和underaining的问题，前者会破坏原图像的特征细节，后者达不到足够的去雨效果，除此之外，雨点的形状也和不相同，有的是点，有的是线，也会对去雨效果产生影响。

解决方案：先对雨图进行一个估计，判断图片中的场景的雨势是大还是小，用不同的kernel size去提取不同的雨点形状（可以用Photoshop生成不同密度和不同雨点形状的雨图）

2.2 Single Image Dehazing

图像去雾的目标：

本次报告介绍的工作：

《Densely Connected Pyramid Dehazing Network》

CVPR 2018 Open Access Repository

研究动机：传统的方法往往在尝试去得到更准确的t，如果模型不够好，去雾效果也不好，即使使用深度学习的方法，也很难得到t，A和J的固有关系

解决方案：将去雾模型嵌入网络中进行端到端学习，使用Pyramid densely connected encoder-decoder去估计t，并使用新的边缘保留损失来避免光晕，使用联合判别器确定t和J的真假（参考GAN）

2.3 Thermal-Visible Face Synthesis and Verification

2.4 Conclusion

【笔记】ValseWebinar-去雨去雾专题报告相关推荐

ECCV 2020 论文大盘点-去雾去雨去模糊篇
去雾.去雨.去模糊是三个不同的方向,之前的盘点:CVPR 2020 论文大盘点-去雨去雾去模糊篇 ,引起了不少朋友的兴趣. 本文盘点 ECCV 2020中去雾(Single Image Dehazin ...
去雨方向工作概述（一）
写在最前面: 一个优秀的整理去雨文章的GitHub:戳我较早以前的文章这里大部分文章是传统方法或者视频去雨. 1.Automatic Single-Image-Based Rain Streaks ...
【Gated Context Aggregation Network for Image Dehazing and Deraining用于图像去雾和去雨的门控上下文聚合网络】，个人笔记，勿喷
摘要图像去雾旨在从模糊图像中恢复未损坏的内容.我们没有利用传统的低级或手工图像先验作为恢复约束,例如暗通道和增加的对比度,而是提出了一个端到端的门控上下文聚合网络来直接恢复最终的无雾图像.在这个网络 ...
图像去雾/图像去雨（matlab/python）
看到许多小伙伴想进行图像去雨,图像去雾的任务,由于以前进行了此类项目,所以在此书写博客进行交流. 代码获取去雨前言从静止图像中去除雨水是一项复杂且具有挑战性的任务.雨滴仅影响图像的很小区域,因此导 ...
ECCV2020｜图像重建(超分辨率，图像恢复，去雨，去雾等)相关论文汇总（附论文链接/代码/解析）
转载自https://zhuanlan.zhihu.com/p/180551773 原帖地址: ECCV2020|图像重建/底层视觉(超分辨率,图像恢复,去雨,去雾,去模糊,去噪等)相关论文汇总(附论 ...
扩散模型diffusion model用于图像恢复任务详细原理 (去雨，去雾等皆可)，附实现代码
文章目录 1. 去噪扩散概率模型 2. 前向扩散 3. 反向采样 3. 图像条件扩散模型 4. 可以考虑改进的点 5. 实现代码话不多说,先上代码: 扩散模型diffusion model用于图像恢 ...
【论文笔记】使用多流密集网络的密度感知单图像去雨
使用多流密集网络的密度感知单图像去雨 <Density-aware Single Image De-reaining using a Multi-stream Dense Network> ...
论文创新，可以看看这几篇去雨文章是怎么做的
(方法三首页demo) 相关资源论文:Restoring An Image Taken Through a Window Covered with Dirt or Rain 首页:https://c ...
从系列去雨论文看如何创新
论文:Restoring An Image Taken Through a Window Covered with Dirt or Rain 首页:https://cs.nyu.edu/~deigen ...

【笔记】ValseWebinar-去雨去雾专题报告