【2021】Structure-Preserving Deraining with Residue Channel Prior Guidance
Abstract
- 很多方法难以用于真实场景，难以恢复高清结构准确的高质量无雨图
- 图像的RCP比有雨图像包含更准确的结构信息，故将其引入来保护无雨图像的结构信息
- Wavelet-based Multi-Level Module (WMLM)作为学习背景信息的主干网络，Interactive Fusion Module (IFM)用于利用RCP信息
- 渐进式设计递归提升RCP准确度
Introduction
早期：雨纹和背景层物理特性 和 各种先验方法
难点：需要复杂迭代优化找到最佳方案CNN：在复杂场景中难以去除雨痕，恢复图像结构信息
原因：
- 其中很多都是直接学习有雨图和无雨图之间的映射。即建立CNN模型后将有雨图减去雨纹得到最终输出。但是雨纹密度多变，故造成过度去雨或者不完全去雨。故重构图像结构信息不完整。
- 大多数方法都在学习雨纹结构，很少关注物体结构的学习，忽略了图像先验的重要性。
- 作者工作：解决上述问题，找到可以保护图像结构的图像先验，将其引入模型中引导高质量图像结构重建。
- Total Variation (TV) prior 会柔化恢复图像的纹理细节；由于需要域知识，很难建立稀疏先验； 现有边缘检测对雨纹都很敏感，故难以从有雨图像得到边缘先验
- residue channel prior(RCP [19, 21, 20])可以得出，能从有雨图像提取清晰的结构，和layer prior [27] and [15] 对比，RCP为有雨图像最大通道值和最小通道值的残差值，其计算无需其他任何参数。
- Structure-Preserving Deraining Network (SPDNet)：RCP引导。更多关注背景信息，直接生成结构清晰准确的高质量无雨图像。Wavelet-based Multi-Level Module (WMLM)作为SPDNet学习背景信息的主干网络，Interactive Fusion Module (IFM)用于RCP引导，RCP模块用于RCP信息提取。这也是SPDNet最重要的一步，它强调了有雨图中的物体结构，提升了生成图片的质量。
- 此外，我们发现随着图像质量提升，RCP也跟着提升。故提出了渐进式重构方法，让模型在中间重构阶段提取更精确的RCP来进一步引导重构，生成质量更好的无雨图片。
2. Related Work
- Traditional Methods
- CNN-based Methods
3. Structure-Preserving Deraining Network
- Wavelet-based Feature Extraction Backbone
有雨图像中物体的被遮挡区域和被遮挡程度都是未知的。有很多使用multi-level策略方法[16, 34, 48]来充分性学习不同 尺度的特征。直接使用下采样或反卷积会丢失很多信息。而wavelet-based multi-level module (WMLM)用discrete wavelet transform (DWT) 和 Inverse DWT (IWT) 替代简易下采样和反卷积。
- DWT[26, 5, 25] ： 可以捕获特征图频率、局部信息，有助于保留细节纹理
- WMLM 具体结构：
- 先用DWT获取多个 不同尺度的有雨图特征 ，再用卷积将特征通道resize 为：
为特征通道 - SRiR：SE-ResBlock in Residual block。类似ResBlock，用SE-Resblock [14]替代ResBlock里的卷积
- 先用DWT获取多个 不同尺度的有雨图特征 ，再用卷积将特征通道resize 为：
RCP Guided StructurePreserving Deraining
Residue Channel Prior
RCP Extraction Module
Interactive Fusion Module
Iterative Guidance Strategy
图片质量的提高，提取的RCP更好：Fig6表明了输出结果的RCP结构比有雨图像的更明显，即输出图像质量更好。
Loss Function
4. Experiment and Discussions
4.1. Datasets
Synthetic Datasets
- Following RCDNet [37],we compute PSNR and SSIM in YCbCr space.计算了三通道的PSNR和SSIM
- 每个方法的时间是在100张128x128大小图片上的平均时间
- 看参数量
Real-world Datasets：SPA-Data [38],638492 rainy/clear image pairs；Zhang et al. [50]没有无雨图像
- Table1的SPA-Data上的对比
- 使用了NIQE [28] and PI [2]来对 没有对应无雨图像的SPA-Data 作评估计算（Table 2）：
- 视觉结果
Implementation Details
- WMLM is set to 3 and the number of RCP extraction module is set to 3.
- Adam optimizer with batch size of 16
- patch size of 128x128 for training on one NVIDIATitan Xp GPU
- The learning rate is set to 5x10−45x 10^{-4}5x10−4 and we train the model for 300 epochs for Rain200L/H, Rain800,and Rain1200 datasets.For SPA-Data, we train the model for 6 eopchs and the learning rate is set to 5x10−45x 10^{-4}5x10−4
4.2. Comparison with the State of the Arts
如上
4.3. Ablation Study
- Effectiveness of the number of WMLM:
- Effectiveness of Basic Components
- IFM的对比：cat替代IFM
- IFM的对比：cat替代IFM
- Effectiveness of the number of RCP guidance and Iterative Guidance Strategy:
4.4. Application
Google API：真实有雨场景下的物体检测
用YOLO v3 在COCO350[16] 进行 物体检测
【2021】Structure-Preserving Deraining with Residue Channel Prior Guidance相关推荐
- ICCV2021：Structure-Preserving Deraining with Residue Channel Prior Guidance
摘要 论文 代码 这个题目有点像CVPR2020的论文名称:<Structure-Preserving Super Resolution With Gradient Guidance> 要 ...
- 【2021】网络协议从入门到底层原理-MJ【新】附上下载链接
[2021]网络协议从入门到底层原理-MJ大神[新]附上下载链接 掌握熟悉的HTTP协议以外,还要学习更多网络协议的相关知识,比如底层的TCP\UDP协议.流媒体的RTMP协议等. 适合人群 1.本课 ...
- 个性签名【2021】
导读:今天来给大家分享一下2021年最新的个性签名,希望大家都能够喜欢!个性签名[2021]分享给大家! ★时间,会自动为我们保留最美好的回忆.◀ ★天涯供你选,我只负责陪你,东奔西走挡寒风.◀ ★至 ...
- CollectOPC工业数据交换 矿安【2021】2号文重大设备感知数据交互软件
CollectOPC工业数据交换 矿安[2021]2号文重大设备感知数据交互软件 http://www.mklhrh.com/ 15038005056 联系电话 CollectOPC介绍 依据< ...
- 【2021】01 最大流
小结 研究精力:主要放在最大流提取骨干河网上,但由于对BGL和C++不熟悉,花了很多时间却没有跑通最大容量增广路的类Dijkstra最短路径算法,自己的C++基础还不牢靠,趁着寒假准备C++二级考试的 ...
- 【2021】清华大学《高级机器学习》课件和专家特邀报告(附pdf下载)
[导读]今天给大家推荐一门清华大学最新经典课程-<高级机器学习>,本文为大家整理收集了该课程的课件PPT以及该课程邀请了Jian Tang .李航.杨强.李沐.李磊等5位AI专家做了特邀主 ...
- 【2021】如何看待计算机视觉未来的走向?
点击上方,选择星标或置顶,不定期资源大放送! 阅读大概需要15分钟 Follow小博主,每天更新前沿干货 [导读]计算机视觉伴随多个SOTA的完善和推进,已经进去深水区,各个论坛社区的毕业生和从业者都 ...
- 【2021】02 过年
小结 这一个月主要待在家里过年. 按照上个月订下的寒假计划,完成了骨干河网提取研究,学习了河网多边形提取方法,下一步是整理相关成果. 主要通过阅读<C++ Primer Plus>备战C+ ...
- 【2021】07 建模
1 [工作] 上午及下午,完成数模比赛报告灵敏度分析. 晚上,完成数模比赛总结. 2 [工作] 上午及下午,准备数模比赛汇报稿. 晚上,录制数模比赛视频. [生活] 下午,lkc来学校,一块喝杯咖啡. ...
最新文章
- 怎么理解ASM中的Failgroup
- 计算机伦理问题案例分析,基于网络环境的案例教学在《计算机伦理学》中的实践研究...
- 中小型制造企业如何玩转MES系统?
- 对DBF的操作建议用微软的驱动和新的链接字符串。
- spice server dpkg-buildpackage 打包编译备忘
- (扫盲)RPC远程过程调用
- 一步步把一个SpringBoot应用打包成Docker镜像并运行
- python log文件如何不写入syslog_Centos下python 对syslog重写进行日志记录
- arrayPointer
- js 获取最后一个字符
- 关于算法—— 一维字符串数组之间组合问题的C#实现
- EVENT ADJUST_SCN 说明 [30681.1]
- 灭菌仓密封性测试方案
- 8-2SpringDataJpa
- 2017年国家公务员考试行测错题集（省级）
- 关于家庭小型无线网络信号不稳定的说明
- 微信公众号如何上传PPT？
- 三十四、Zabbix-触发器、动作及邮件报警
- 『WPF』TextBox元素过滤键盘输入
- 影驰gtx960显卡怎么样_影驰gtx960 2g_影驰gtx960 2g跑分