模糊图像退化与去模糊的数学模型

一图像退化模型
建立图像的退化模型即是将图像的降质的机理用数学的方式描述出来，这也是图像去模糊成功的重要因素。通常来说，图像的退化可以概括为初始的输入图像f(x,y)f(x,y)，经过退化函数k(x,y)k(x,y)作用后，再附加上随机噪声n(x,y)n(x,y)，最后输出为模糊图像g(x,y)g(x,y)。
用数学形式描述为：

g(x,y)=k(x,y)⨂f(x,y)+n(x,y)

g(x,y)=k(x,y)\bigotimes f(x,y)+n(x,y)
在上述退化模型确定以后，使用该模型去模糊的过程就是在模糊图像的基础 g(x,y)g(x,y)上，通过一定方法寻求合理的退化函数 k(x,y)k(x,y),然后利用一定的策略求解退化的逆问题，进而获得真实图像 f(x,y)f(x,y)的尽可能高程度的近似版本。
若忽略噪声的干扰，即令 n(x,y)=0n(x,y)=0,假设退化函数是空间不变的，模型简化为：

g(x,y)=k⨂f(x,y)

g(x,y)=k\bigotimes f(x,y)
图像连续退化模型，根据傅里叶变换原理转换到频域：

G(u,v)=K(u,v)F(u,v)+N(u,v)

G(u,v)=K(u,v)F(u,v)+N(u,v)
二图像去模糊的概率模型
通常去模糊算法的一个自然的出发点就是首先从概率的角度出发建立去模糊问题对应的方程。假设我们已经获知降质过程中干扰图像的噪声类型，我们就能够很容易的写出模糊图像的似然 p(g|f,k)p(g|f,k),即 gg关于f,kf,k的条件概率密度。根据概率知识，我们可以从最大化该条件概率出发，寻求最为合适的 f,kf,k,但是因图像退化时引起信息损失进而导致去模糊问题的严重不适定性，如果仅仅最大化这个似然模型则容易导致结果中包含较多的振铃效应，并且噪声也被进一步放大。
人们通常会在去模糊过程中加如一些约束。利用一些关于清晰图的先验知识，根据贝叶斯理论，我们能够构建出关于未知量的后验分布:

p(f,k|g)∝p(g|f,k)p(k)p(f)

p(f,k|g)\propto p(g|f,k)p(k)p(f)
如果模糊核已知条件下：

p(f|g,k)∝p(g|f,k))p(f)

p(f|g,k)\propto p(g|f,k))p(f)
其中关于未知量的先验知识 p(x)p(x)和 p(f)p(f)是人工定义的或者从样本数据学习得到的。把关于未知量的先验知识结合到图像去模糊模型中能够克服单从模糊图像的似然估计 ff和kk时的不稳定性，改善未知量估计的质量。
最大后验(MAP)方法
如果模糊核提前获知，则求解出的清晰图像为：

f^=argmaxfp(f|g,k)

\hat{f}=\mathop{\arg\max}_{f}p(f|g,k)
模糊核未知条件下，需要在反求清晰图像的过程中求解模糊核：

{f^,k^}=argmaxf,kp(f,k|g)

\{ \hat{f},\hat{k}\}=\mathop{\arg\max}_{f,k}p(f,k|g)
处理上式中模型的典型手段是首先将求取概率的最大转变成求取能的最小，将后验分布改写为吉布斯分布的形式：

p(f,k|g)=1Zexp(−1TU(f,k))

p(f,k|g)=\frac{1}{Z}exp(-\frac{1}{T}U(f,k))
其中是一个 UU由gg决定的能量方程， zz为归一化常数由此可知，能够最大化后验概率的图像ff和核 kk同时也是使得式的值达到最小的变量。根据U(f,k)∝−logp(f,k|g)+CU(f,k)\propto -\log p(f,k|g)+C, CC代表任意常数，于是我们可以得出后验分布对MAPMAP应的问题:

minf,kF(g;k,f)+αρf(f)+βρk(k)

\mathop{\min}_{f,k}F(g;k,f)+\alpha \rho_f(f)+\beta \rho_k(k)
其中方程 FF对应着似然项的负对数，用于惩罚清晰图像和模糊核卷积结果与观察数据之间的差异，我们称之为数据项。而方程ρf\rho_f和 ρk\rho_k对应着先验项的负对数，分别用于惩罚清晰图像和模糊核以使它们服从先验知识，我们称之为正则项。
由于图像中通常包含很多像素点，于是求解整幅图像的 MAPMAP问题将有一个非常大的解空间，这也是 MAPMAP方法遇到的要问题,能量方程可能是个非凸的问题，在这种情况下一般不可能达到全局最优解；受校糊图像中未知噪声的影响，人们通常要谨慎的选择正则项的权重。
噪声模型有高斯噪声，泊松噪声，均匀分布噪声等。

自然图像的先验知识
早期文献关注自然图像的振幅谱，认为自然图像振幅谱在一定条件下近似服从一个能量定律；也有人则指出清晰图像的熵高于模糊图像。

近几年来的工作主耍关注清晰图像对滤波算子响应结果的分布情况
假设清晰图像中所有像素点的导数之间彼此扣独立并服从一种零平均的高斯尺度混合型(GSM),也有人提出梯度符合超拉普拉斯分布(看另外一篇博客)

模糊核先验知识
首先图像的形成过程就是光子在传感器上不断累积的过程，因此模糊核中的所有元素都是非负的，即其次，更为重要的一点是模糊核通常是稀疏的，也即包含相对少量的非零元素。模糊核的这种非负稀疏特点被之前的图像去模糊方法广泛地使用。

三单幅图像去模糊
传统的从单幅图像出发盲去除模糊的算法一般以ff和kk的后验分布为出发点：

p(f,k|g)∝p(g|f,k)p(k)p(f)

p(f,k|g)\propto p(g|f,k)p(k)p(f)
通常假设噪声为均勾的高斯噪声于是其中的似然项描述为：

p(g|f,k)∝∏iexp(−((f⨂k)i−gi)22σ2)

p(g|f,k)\propto \prod_{i}exp(-\frac{((f\bigotimes k)_i-g_i)^2}{2\sigma^{2}})
其中 σ\sigma是噪声的标准差， p(f)p(f)和 p(k)p(k)分别对应着清晰图像和校糊核的先验约束。
模糊核估计
Cho[1]为了更新模糊核，和首先对当前估计的清晰图像进行滤波处理以预测阶梯边界。通过双边滤波滤除大部分的噪声，接着采用冲击滤波来增强锐利的边缘，得到图像，紧接着求得该图像 xx,yy方向的导数，最后根据一定标准舍弃其中较小的值以获得稀疏的梯度图 pxp^x和 pyp^y。
在从清晰图像预测和保留显著边缘以后，结合稀疏的导数图像的更高阶信息形成新的集合 {pq={px,py,dx⨂px,12(dx⨂py+dy⨂px),dy⨂py}\{p^q=\{p^x,p^y,d^x\bigotimes p^x,\frac{1}{2}(d^x\bigotimes p^y+d^y \bigotimes p^x),d^y\bigotimes p^y\}
用来估计模糊核：

mink∑qwq||k⨂pq−dq⨂g||22+β||k||22

\mathop{\min}_k \sum _q w_q||k\bigotimes p^q-d^q\bigotimes g||_2^2+\beta||k||^2_2
其中 dq∈{dx,dy,dxx,dxy,dyy}d^q\in \{d^x,d^y,d^{xx},d^{xy},d^{yy}\}, β\beta为正则项的权重， wqw_q分别对应着不同的偏导数。这是一个简单的线性最小二乘问题，容易在频域求得其解：

k^=F−1(∑qwqF(pq)¯¯¯¯¯¯¯¯F(gq)∑qwqF(pq)¯¯¯¯¯¯¯¯F(pq)+β)

\hat{k}=F^{-1}(\frac{\sum_qw_q\overline{F(p^q)}F(g^q)}{\sum_qw_q\overline{F(p^q)}F(p^q)+\beta})
在获得模糊核 k^\hat{k}之后，对其进行阈值化处理，即将其中值小于最大元素值1/20的的元素置为0。这就保证了其中所有元素之为非负，且加强了模糊核的稀疏性。
jia[2].增加了滤波处理步骤。
shan[3]相对于前两中方法，不对图像进行任何滤波处理，直接使用 l1l_1范数代替正则项。

mink∑qwq||k⨂pq−dq⨂g||22+β||k||1

\mathop{\min}_k \sum _q w_q||k\bigotimes p^q-d^q\bigotimes g||_2^2+\beta||k||_1
清晰图像估计
在清晰图像估计阶段，使用当前得到的 k^\hat{k}来对模糊图像执行去除模糊操作以更新当前的清晰图像。[1]使用的去卷积模型为：

minf∑qwq||k^⨂dq⨂f−dq⨂g||22+α||dx⨂f||22+α||dy⨂f||22

\mathop{\min}_f\sum_q w_q||\hat{k}\bigotimes d^q\bigotimes f-d^q\bigotimes g||_2^2+\alpha ||d^x \bigotimes f||^2_2+\alpha ||d^y\bigotimes f||^2_2
中为正则项的权重，而此时的偏导数包括了零阶导在内： dq∈{dx,dy,dxx,dxy,dyy}d^q\in \{d^x,d^y,d^{xx},d^{xy},d^{yy}\}观察可知，在这个问题中，数据项中包括了图像的高阶导数，而正则项中则没有，我们可以在频域里求得其标准解。
[2]选择增加 l2l_2正则项来促进清晰图像的梯度接近于前次迭代中预测的稀疏导数图

minf∑qwq||k^⨂dq⨂f−dq⨂g||22+α||dx⨂f−px||22+α||dy⨂f−py||22

\mathop{\min}_f\sum_q w_q||\hat{k}\bigotimes d^q\bigotimes f-d^q\bigotimes g||_2^2+\alpha ||d^x \bigotimes f-p^x||^2_2+\alpha ||d^y\bigotimes f-p^y||^2_2
由于本校型促使锐化边缘出现在 {pq}\{p^q\}中对应的位置,因而降低了由于使用 l2l_2正则项而带来的过平滑问题，同时本模型也同样可以在频域范围内得到标准解。

利用噪声模糊图像盲去模糊
yuan[4]提出了一种新的盲去模糊方法，该方法使用了观察的模糊图像和同一场景中的一幅锐化但是包含噪声的图像。模糊图像是在弱光照条件下长时间光的情况下出现的，而如果在此时给定一个高的设置而同时减少曝光时间则可以获得同一场景的锐化但是包含噪声的图像。虽然得到的噪声图像可能退化的比较严重，以至于不能通过直接的去噪理得到一幅清晰的图像，但是可以将其作为清晰图像的初始值来估计模糊核。除此之外，如果得到模糊核以后，同样能够利用噪声图像来指导最终的非盲去模糊操作，在此阶段文中采用了一种改进R−LR-L的算法，并使用噪声图像fNf_N来抑制结果中的振铃效应。

[1].Cho S, Lee S. Fast motion deblurring[C]//ACM Transactions on Graphics (TOG). ACM, 2009, 28(5): 145.
[2].Xu L, Jia J. Two-phase kernel estimation for robust motion deblurring[C]//European Conference on Computer Vision. Springer, Berlin, Heidelberg, 2010: 157-170.
[3].Shan Q, Jia J, Agarwala A. High-quality motion deblurring from a single image[C]//Acm transactions on graphics (tog). ACM, 2008, 27(3): 73.
[4].Yuan L, Sun J, Quan L, et al. Image deblurring with blurred/noisy image pairs[C]//ACM Transactions on Graphics (TOG). ACM, 2007, 26(3): 1.

本文节选自《单幅运动模糊图像的盲去卷积》李新刚本博客仅为阅读方便，权利归原作者所有。

模糊图像退化与去模糊的数学模型相关推荐

视频图像去模糊常用处理方法
视频图像去模糊常用处理方法随着"平安城市"的广泛建设,各大城市已经建有大量的视频监控系统,虽然监控系统己经广泛地存在于银行.商场.车站和交通路口等公共场所,但是在公安工作中,由于 ...
paper 89:视频图像去模糊常用处理方法
随着"平安城市"的广泛建设,各大城市已经建有大量的视频监控系统,虽然监控系统己经广泛地存在于银行.商场.车站和交通路口等公共场所,但是在公安工作中,由于设备或者其他条件的限制,案情 ...
CVPR 2018 | 使用CNN生成图像先验，实现更广泛场景的盲图像去模糊
现有的最优方法在文本.人脸以及低光照图像上的盲图像去模糊效果并不佳,主要受限于图像先验的手工设计属性.本文研究者将图像先验表示为二值分类器,训练 CNN 来分类模糊和清晰图像.实验表明,该图像先验比目 ...
大气湍流退化图像复原技术研究及DSP实现
目录第一章绪论 1 1.1 研究背景 1 1.2 国内外研究现状 1 1.3 本文的研究内容 5 1.4 本文的组织结构 5 第二章大气湍流退化图像复原技术 7 2.1 图像退化及复原数学模型概 ...
使用CNN生成图像先验，实现更广泛场景的盲图像去模糊
现有的最优方法在文本.人脸以及低光照图像上的盲图像去模糊效果并不佳,主要受限于图像先验的手工设计属性.本文研究者将图像先验表示为二值分类器,训练 CNN 来分类模糊和清晰图像.实验表明,该图像先验比目 ...
OpenCV图像去噪
OpenCV图像处理篇之图像平滑图像平滑算法程序分析及结果图像平滑算法图像平滑与图像模糊是同一概念,主要用于图像的去噪.平滑要使用滤波器,为不改变图像的相位信息, 一般使用线性滤波器,其统一形 ...
matlab修复模糊图片论文,图像算法论文,关于运动模糊图像复原算法相关参考文献资料-免费论文范文...
导读:本论文可用于图像算法论文范文参考下载,图像算法相关论文写作参考研究. 周志强程姝季静 (安徽省标准化研究院,安徽合肥 230051) [摘要]运动模糊图像的产生是由于拍摄瞬间摄影镜头 ...
opencv 图像去噪学习总结
OpenCV图像处理篇之图像平滑图像平滑算法程序分析及结果图像平滑算法图像平滑与图像模糊是同一概念,主要用于图像的去噪.平滑要使用滤波器,为不改变图像的相位信息, 一般使用线性滤波器,其统一形 ...
Deep Image Deblurring A Survey图像处理论文研读
摘要主要是对深度学习算法的综述. 首先讨论图像模糊的常见原因介绍基准数据库与评价指标 summarize different problem formulations. 详细比较卷积神经网络分类方 ...
图像滤波的matlab实现,图像滤波方法及其MATLAB实现
图像滤波方法及其MATLAB实现(论文13000字) 摘要:在数字图像处理中,由于受到成像方法的限制,图像中的边缘.细节特征等重要信息常湮没于噪声信号中,给图像的后继处理如边缘检测.图像分割.图像匹配 ...

模糊图像退化与去模糊的数学模型

模糊图像退化与去模糊的数学模型相关推荐

最新文章

热门文章