点击我爱计算机视觉标星,更快获取CVML新技术


以GAN为代表的生成模型正在视觉造假的路上越来越成熟,狗变猫、白马变斑马、实景变素描是GAN用于高级图像生成的例证。

能否将GAN应用于低级的图像处理呢?比如图像去模糊。

答案是肯定的。将GAN用于图像去模糊,生成器用于生成清晰图像,鉴别器区分真实且清晰图像与造假或模糊图像。

DeblurGAN (CVPR 2018)是这一方向新出算法中的佼佼者。

昨日公布的ICCV 2019 论文 DeblurGAN-v2: Deblurring (Orders-of-Magnitude) Faster and Better,原作者对其再升级,改进了生成器的网络结构与鉴别器,且使得算法可以方便使用现有成熟的骨干网,不仅提升了去模糊后图像的质量,同时可以轻易设计计算代价小的模型。实现了更好也更快!

该文作者信息:

由论文标题知,DeblurGAN-v2在速度上获得了数量级的提升。

下图展示了该文描述的DeblurGAN-v2使用不同骨干网获得的三个模型在GoPro数据集上与其他三个SOTA去模糊算法比较结果。

可见,使用SSIM为度量标准,DeblurGAN-v2的三个模型计算代价都较低,在使用复杂度高的inception网络时,DeblurGAN-v2可取得最好的去模糊效果,而使用轻量级网络,在FLOPs大幅度下降情况下,SSIM结果仍处于SOTA水平。

因为效果好计算代价小,将 DeblurGAN-v2用于视频去模糊也是可行的!

算法改进

下图展示了该文作者对算法的改进:

在生成器部分作者引入了特征金字塔网络,不同于使用图像金字塔,这种特征重用的结构可大幅降低计算时间和模型size。

且这种结构允许方便的使用不同的CNN骨干网,是一种计算量可伸缩的结果。

另外,在鉴别器部分,作者设计了新的损失函数:

另外,不仅保留DeblurGAN中PatchGAN鉴别器,对图像Patch进行鉴别,还引入了全局鉴别器(如架构图的右侧部分),称此为双尺度鉴别器(double-scale discriminator)。作者发现这样的改进,可以使得DeblurGAN-v2更好的处理较大的和异质的真实世界模糊。

实验结果

作者在多个图像去模糊数据集上进行了实验。

在几大数据集上客观评价指标结果:

可见DeblurGAN-v2算法既可以获得最高精度的模型,也可以获得精度接近最好但计算量极低的模型,更加实用。

在Lai数据集上的主观评价结果:

在Kohler数据集的去模糊示例:

结论

本文提出的去模糊框架DeblurGAN-v2可以很方便切换骨干网,能够取得目前最好的效果,而计算量却减少几个数量级,非常值得参考。

值得一提的是,DeblurGAN-v2中生成器的网络结构和双尺度鉴别器也同样适用于其他低级图像处理任务,比如图像超分辨。期待也能对相关领域的研究有所启发。

论文地址:

https://arxiv.org/pdf/1908.03826v1.pdf

在我爱计算机视觉公众号对话界面回复“去模糊GAN”,即可收到下载地址。

代码地址:

https://github.com/TAMU-VITA/DeblurGANv2

感谢开源者,欢迎给作者标Star。


GAN交流群

关注最新最前沿的生成对抗网络GAN技术,欢迎加入专属交流群,扫码添加CV君拉你入群,(如已为CV君好友请直接私信)

(请务必注明:GAN)

喜欢在QQ交流的童鞋,可以加52CV官方QQ群:805388940。

(不会时时在线,如果没能及时通过验证还请见谅)


长按关注我爱计算机视觉

更好也更快!最先进的图像去模糊算法DeblurGAN-v2相关推荐

  1. CVPR 2018 | 使用CNN生成图像先验,实现更广泛场景的盲图像去模糊

    现有的最优方法在文本.人脸以及低光照图像上的盲图像去模糊效果并不佳,主要受限于图像先验的手工设计属性.本文研究者将图像先验表示为二值分类器,训练 CNN 来分类模糊和清晰图像.实验表明,该图像先验比目 ...

  2. 使用CNN生成图像先验,实现更广泛场景的盲图像去模糊

    现有的最优方法在文本.人脸以及低光照图像上的盲图像去模糊效果并不佳,主要受限于图像先验的手工设计属性.本文研究者将图像先验表示为二值分类器,训练 CNN 来分类模糊和清晰图像.实验表明,该图像先验比目 ...

  3. 时隔两年,EfficientNet v2来了!更快,更小,更强!

    导读 谷歌在EfficientNet的基础上,引入了Fused-MBConv到搜索空间中:同时为渐进式学习引入了自适应正则强度调整机制,组合得到了EfficientNetV2,它在多个基准数据集上取得 ...

  4. 如何为我们的应用程序提供一个更小、更快的视频通话库

    正文字数:2848  阅读时长:4分钟 在研究如何使视频通话在未来更高效,更易于扩展时,Facebook意识到,最好的方法是从头开始重新设计库并重写整个库,也就是Rsys. 作者 / Ishan Kh ...

  5. 目标检测经典论文——YOLOv2论文翻译(纯中文版):YOLO9000:更好、更快、更强

    目标检测经典论文翻译汇总:[翻译汇总] 翻译pdf文件下载:[下载地址] 此版为纯中文版,中英文对照版请稳步:[YOLOv2中英文对照版] YOLO9000:更好.更快.更强 Joseph Redmo ...

  6. 目标检测经典论文——YOLOV2论文翻译:YOLO9000: Better, Faster, Stronger(YOLO9000:更好、更快、更强)

    YOLO9000: Better, Faster, Stronger YOLO9000:更好.更快.更强 Joseph Redmon*†, Ali Farhadi*† University of Wa ...

  7. MobileViT: 一种更小,更快,高精度的轻量级Transformer端侧网络架构(附代码实现)...

    点击上方,选择星标或置顶,不定期资源大放送! 阅读大概需要5分钟 Follow小博主,每天更新前沿干货 [导读]之前详细介绍了轻量级网络架构的开源项目,详情请看深度学习中的轻量级网络架构总结与代码实现 ...

  8. Google发布新API,支持训练更小、更快的AI模型

    雷锋网消息,Google今天发布了 Quantification Aware Training(QAT)API,使开发人员可以利用量化的优势来训练和部署模型AI模型.通过这个API,可以将输入值从大集 ...

  9. 神策数据:从技术视角看,如何更多、更好、更快地实施A/B试验

    A/B 测试被更多人熟知的是持续观察并对照按一定规则分成的 A.B 两组测试样本,基于数据反馈辅助优化决策,其背后复杂的数学理论和试验基础设施却往往被人忽视. 目前,国内一线互联网公司大多采用自研的方 ...

最新文章

  1. percona-xtrabackup工具实现mysql5.6.34的主从同步复制
  2. 解答: 刷DFT 版 Windows Phone 依然无法越狱安装程序的原因
  3. redux provider源码解析
  4. centos java发送邮件发不出去_传真机发不出传真怎么办 传真机发不出传真解决方法【详解】...
  5. 为ActiveX制作数字签名 -- 介绍 (引)
  6. Java-java.util.concurrent.locks.AbstractQueuedSynchronizer
  7. Source Insight 快捷键大全
  8. C 编译器、链接器、加载器详解
  9. 韩顺平 零基础30天学会Java 学习笔记
  10. 激光雷达科普(1):激光雷达的分类及重要参数
  11. wps2019政府专版 无广告
  12. 比Excel还简单的SQL语句查询
  13. 邮件群发软件如何群发邮件,企业邮箱可以吗?
  14. 什么是数字孪生技术?
  15. 【Android 进程保活】应用进程拉活 ( 应用进程拉活简介 | 广播拉活 | 显示广播与隐式广播 | 全家桶拉活 )
  16. 优效时钟屏保-一款极简风格的时钟屏保
  17. 服务器系统如用pe和做镜像,用IMAGEX捕获系统镜像,并通过PE从网络分发的方法...
  18. 一、IOS CocoaPods详细使用方法
  19. 真_u3d程序员,基本脚本语法篇
  20. 银行排队系统 c语言,C++实现银行排队系统

热门文章

  1. Golang笔记——反射
  2. N皇后问题——通俗易懂地讲解(C++)
  3. 概率论和数理统计 - 01
  4. QT [007] QT UI 的控件操控问题 - 如何操控多嵌套的UI控件
  5. python 聚类_聚类算法中的四种距离及其python实现
  6. js判断定时器是否启动_原生js如何做出轮播图的效果
  7. php七牛云rtmp直播推流,GitHub - jangocheng/FlutterQiniucloudLivePlugin: Flutter 七牛云直播云 推流/播放 SDK集成...
  8. mysql数据库导入导出和密码修改
  9. uri=/struts-tags 出错
  10. mysql有热备设置_Mysql数据热备配置与操作方法