【图像处理】【去模糊】图像去模糊之初探--Single Image Motion Deblurring

原文：原文地址

曾经很长一段时间，对图像去模糊都有一种偏见，认为这是一个灌水的领域，没有什么实用价值，要到这样的文章，不管是多高的档次，直接pass。最近在调研最近几年的关于Computational Photography的一些研究热点时，发现图像去模糊这个领域非常活跃，一些效果图还是蛮有意思的。于是大概浏览了其中的几篇文章，慢慢地我的这种偏见也消失了。当数码消费电子日益普及的时候，这项技术确实非常有用。它能挽救相当一批由于曝光时间过长或者拍摄时手的抖动造成的模糊照片。

图像的模糊按照模糊核的性质来分类可分为： Blind image deconvolution（BID 芒去卷积）和Non-blind image deconvolution（NBID 非芒去卷积）。BID就是在模糊核未知的情况下恢复出清晰的图像。在这种情况下，除了采集到的图像，其他的没有任何任何信息。 NBID是在模糊核已知的情况下恢复出清晰的原始图像。因为有了模糊核这个非常重要的信息，去卷积的工作就相对来说容易多了，主要任务就是如何在保持细节的情况下抑制噪声。过去三四十年，很多研究都集中在这个领域，也有了不少很实用的方法，比如维纳滤波， Richardson-Lucy方法。后来有些方法是基于去噪方法的，比如傅立叶，小波，Curvelet，和TV方法。一般来说， NBID是BID的基础。一旦模糊核估计出来，所有的NBID方法都可以在BID中使用。

按照模糊的区域来划分，又可分为：全局模糊和局部模糊。全局的模糊主要是由于拍摄设备的运动造成的，而局部模糊是由于单个物体的运动造成的。从实用性来说，全局模糊要好于局部模糊。理由有三：（1）全局模糊可以用一个模糊核来恢复，因此最主要的任务就是PSF的估计，而局部模糊的模糊核是随位置变化的，难道要大很多，结果也就不稳定很多。（2）造成全局模糊的原因是手持拍摄设备在曝光时间比较长的情况下进行拍摄，在拍摄过程中经常能遇到。而局部模糊仅仅限于对运动物体的拍摄，比如运动的汽车或者行走中的人，一般说来，拍摄这些场景的机会比较有限，实用性也不大。（3）全局模糊在绝大部分情况下都是不期望的效果，而局部模糊在很多时候是不需要去除的，甚至是刻意追求的一种效果。

按信息源分类可分为：单幅图像去模糊和带辅助信息的图像去模糊。单幅图像去模糊顾名思义，输入只有一幅图像，没有别的任何信息。这也是最常见的去模糊场景。带辅助信息的图像去模糊除了有一幅待出来的图像以外，还有其他的一些辅助信息用来估算模糊核。这里的辅助信息包括：（1）连续两帧图像（2）一帧不模糊单噪声比较大的图像（3）不同曝光时间的三幅或者n幅图像（4）一段低分辨率视频（5）对曝光时间的编码（6）对镜头的改造（7）。。。虽然每一个作者都强调这些辅助设备比较廉价，辅助信息比较容易获得。但对非专业的普通用户来说，要得到这些辅助信息是不大现实的。

综合这些因素考虑，我个人认为目前最有实用价值的仍然是single image blind motion deblurring。这方面， Rob Fergus等在2006 年的siggraph上发表了一篇文章非常有新意，效果也还不错。难能可贵的是，这篇文章留下了很多漏洞，能让后人在此基础上对这项工作有所完。果不其然，在随后几年的cvpr， siggraph， iccv， eccv上，几乎每届都有更好的结果涌现。这里主要介绍 2006年的这篇“ Siggraph Removing Camera Shake From a Single Photograph”。

以往的芒去卷积方法要么对卷积核有很强的先验假设，要么对图像有一定的先验假设，或者两者都有。而且，这些方法往往不大适合较大的模糊核。 Fergus等提出的方法完全抛弃了这些束缚，实现了真正意义上的实用的BID。在此文中，图像去模糊主要被划分成了两步：卷积核的估计和去模糊。其中去模糊可以采用任何一种现有的算法，因此此文的重点集中在了模糊核的估计上。基于对图像模型统计特性的分析，此文深入研究了模糊图像和非模糊图像的梯度分布，提出了一种基于梯度分布模型的去模糊算法。自然的清晰的图像满足特定的heavy-tailed distribution，而模糊图像的梯度分布则想去甚远。因此Fergus等基于这种特性构造了在已知观测图像情况下原始图像和模糊核的联合后验概率，后验概率最大化对应的原始图像和卷积核的组合就是所要的答案。然而直接解这个MAP（Maximum a Posterior）问题，却得不到正确的答案。因此作者采用了一种学习的方法，即MISKIN和MACKAY,在Ensemble Learning for Blind Image Separation and Deconvolution中提到的方法。这也是作者认为的两大贡献。

Fergus在paper和ppt中都给出了一些结果，其实结果都不能完全令人满意，有的恢复的效果不够好，有的噪声实在太大。但作者也说他的paper有不少可改进的地方，言外之意就是此文只是提出了一种思想，效果有待完善。这也让本文留下了不少可研究的空间，个人认为有以下三个方面可以改进：（1）图像模型的选择。梯度模型只是选取了相邻的两个点的统计特性，有点过于简单。清晰图像有很大可能满足作者采用的heavy-tailed distribution，但满足这种分布的一定是效果比较好的清晰图像吗？ Gibbs效应如何克服？此文并没有深入研究（2）MAP算法的优化（3）本文采用的R-L这个经典古老的算法，肯定有其他更好的算法能改善图像质量。简单来说，就是作者挖了个坑，自己并不想填，让别人慢慢去填。也许不远的某一天，我也会在这里填一个坑， Maybe。

下面是我自己搜集的最近几年关于deblur的一些论文列表，在网上都可以找到。

2004 PAMI Motion-based motion deblurring
2006 NIPS Blind motion deblurring using image statistics
2006 Siggraph Coded Exposure Photography Motion Deblurring using Fluttered Shutter
2006 Siggraph Removing Camera Shake From a Single Photograph
2007 CVPR Resolving Objects at Higher Resolution from a Single Motion-blurred Image
2007 CVPR Single Image Motion Deblurring Using Transparency
2007 CVPR What makes a good model of natural images
2007 Siggraph Image Deblurring with BlurredNoisy Image Pairs
2008 CVPR ImageVideo Deblurring using a Hybrid Camera
2008 CVPR Motion from Blur
2008 CVPR PSF Estimation using Sharp Edge Prediction
2008 CVPR Roubust Dual Motion Deblurring
2008 Siggraph High-Quality Motion Deblurring From a Single Image
2008 Siggraph Motion-invariant photography
2009 CVPR High-quality curvelet-based motion deblurring using an image pair
2009 CVPR Image Deblurring and Denoising using Color Priors
2009 CVPR Understanding and evaluating blind deconvolution algorithms
2009 ICCP Image Destabilization Programmable Defocus using Lens and Sensor Motion
2009 ICCP What are Good Apertures for Defocus Deblurring
2009 ICCV Time-Constrained Photography
2010 CVPR Deconvolutional Networks
2010 CVPR Denoising vs. Deblurring HDR Imaging Techniques Using Moving Cameras
2010 CVPR Non-uniform Deblurring for Shaken Images
2010 ECCV Single Image Deblurring Using Motion Density Functions
2010 ECCV Two-Phase Kernel Estimation for Robust Motion Deblurring
2010 ICCP Motion blur removal with orthogonal parabolic exposures
2010 Siggraph Image Deblurring using Inertial Measurement Sensors
2010 TPAMI Correction of Spatially Varying Image and Video Motion Blur Using a Hybrid Camera

以下两幅图摘自jiaya jia研究小组的结果http://www.cse.cuhk.edu.hk/~leojia/projects/robust_deblur/index.html ，个人觉得这是目前最好的结果了，效果还是很吸引人的。

输入图像:

输出图像：

【图像处理】【去模糊】图像去模糊之初探--Single Image Motion Deblurring相关推荐

图像去模糊之初探--Single Image Motion Deblurring
曾经很长一段时间, 对图像去模糊都有一种偏见, 认为这是一个灌水的领域, 没有什么实用价值,要到这样的文章,不管是多高的档次, 直接pass. 最近在调研最近几年的关于Computational Ph ...
怎么p出模糊的照片_36. 盲去卷积 - 更加实用的图像去模糊方法
本文同步发表在我的微信公众号和知乎专栏"计算摄影学",欢迎扫码关注, 上一篇文章35. 去卷积:怎么把模糊的图像变清晰?吸引了很多朋友的关注.在这篇文章里面,我给大家讲了一种叫做& ...
Removing-Camera-Shake-from-a-Single-Photograph图像去模糊读书笔记
图片模型模糊图B.潜在图L与模糊核K的关系为: B=K⊗L+NB = K ⊗ L + N B=K⊗L+N 其中,⊗代表卷积(非周期边界条件),N表示每个像素上的传感器噪声. 我们假设图像的像素值与传 ...
顶刊IJCV 2022！基于深度学习的图像去模糊综述来了！
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达点击进入-> CV 微信技术交流群转载:机器之心本文提出了一个图像去模糊方向的综述,来自澳大利亚国 ...
【图像去模糊】Rethinking Coarse-to-Fine Approach in Single Image Deblurring
论文地址:https://arxiv.org/pdf/2108.05054.pdfhttps://arxiv.org/pdf/2108.05054.pdf 代码地址:https://github.co ...
CVPR 2018 | 使用CNN生成图像先验，实现更广泛场景的盲图像去模糊
现有的最优方法在文本.人脸以及低光照图像上的盲图像去模糊效果并不佳,主要受限于图像先验的手工设计属性.本文研究者将图像先验表示为二值分类器,训练 CNN 来分类模糊和清晰图像.实验表明,该图像先验比目 ...
图像去模糊（逆滤波）
引言图像模糊是一种拍摄常见的现象,我曾在图像去模糊(维纳滤波) 介绍过.这里不再详述,只给出物理模型,这里我们仍在频率域表示 G(u,v)=H(u,v)F(u,v)+N(u,v)(1) 其中提到最简 ...
CVPR 2022 3月7日论文速递（17 篇打包下载）涵盖 3D 目标检测、医学影像、图像去模糊、车道线检测等方向
CVPR2022论文速递系列: CVPR 2022 3月3日论文速递(22 篇打包下载)涵盖网络架构设计.姿态估计.三维视觉.动作检测.语义分割等方向 CVPR 2022 3月4日论文速递(29 篇打 ...
更好也更快！最先进的图像去模糊算法DeblurGAN-v2
点击我爱计算机视觉标星,更快获取CVML新技术以GAN为代表的生成模型正在视觉造假的路上越来越成熟,狗变猫.白马变斑马.实景变素描是GAN用于高级图像生成的例证. 能否将GAN应用于低级的图像处理呢 ...
视频图像去模糊常用处理方法
视频图像去模糊常用处理方法随着"平安城市"的广泛建设,各大城市已经建有大量的视频监控系统,虽然监控系统己经广泛地存在于银行.商场.车站和交通路口等公共场所,但是在公安工作中,由于 ...

【图像处理】【去模糊】图像去模糊之初探--Single Image Motion Deblurring

【图像处理】【去模糊】图像去模糊之初探--Single Image Motion Deblurring相关推荐

最新文章

热门文章