自然图像先验与图像复原

Introduction

图像复原是图像处理中最重要的任务之一，其包括图像去噪、去模糊、图像修复、超分辨等，都是底层视觉中被广泛研究的问题。实际中我们得到的图像往往是退化后的图像（如带噪声图像、模糊图像、被采样的图像等）：
y=D(x)y=D(x)y=D(x)

其中，yyy表示观察到的退化图像，xxx是原始图像，D(⋅)D(\cdot)D(⋅)是退化函数，往往是未知的，在实际的计算中，常常使用成像物理模型近似。
图像复原就是根据观察到的退化图像，估计原始未退化的图像。这是一个病态问题，该问题的解往往不是唯一的。为了缩小问题的解空间，更好的逼近真实解，我们需要添加限制条件。这些限制条件来自自然图像本身的特性,即自然图像的先验信息。如果能够很好地利用自然图像的先验信息,就可以从退化的图像上恢复原始图像。

图像复原

图像复原任务通常表示成一个损失函数的形式：
x=arg⁡min⁡xf(x,y)+prior(x)x=\arg\min_x f(x,y)+prior(x)x=argxminf(x,y)+prior(x)

其中，f(x,y)f(x,y)f(x,y)表示数据保真项，使得估计出的原始图像与退化图像在内容上保持一致。prior(x)prior(x)prior(x)则表示先验项，来自于自然图像本身的特性。
这个损失函数可以从概率统计角度给予很好的解释。根据最大后验概率估计原理，对原始图像的估计可以表示为：
max⁡P(x∣y)=max⁡P(y∣x)P(x)\max P(x|y)=\max P(y|x)P(x)maxP(x∣y)=maxP(y∣x)P(x)

其中，P(y∣x)P(y|x)P(y∣x)表示从原始图像x得到退化图像y的概率，P(x)P(x)P(x)表示图像x的先验概率。对上式取负对数，就可以得到图像复原的损失函数了。

自然图像先验

借助于不同的自然图像先验信息，可以估计出不同的原始图像。常用的自然图像的先验信息有自然图像的局部平滑性、非局部自相似性、稀疏性等特征。下面分别做简单介绍。

局部平滑性

自然图像相邻像素点之间的像素值在一定程度上是连续变化的。从频谱上观察，自然图像以低频分量为主；从梯度直方图上观察，自然图像梯度统计趋近于0。下图为Lena图的梯度直方图：

基于自然图像梯度统计的观察，许多先验条件都是针对图像梯度设计的，如梯度的L2L_2L2范数约束、TV约束（梯度L1L_1L1范数约束）、梯度L0L_0L0范数约束等等，都是非常常见的。最常见的应用就是在去噪上，也就是基于全局优化的滤波器的设计。
梯度L2L_2L2范数约束是基于梯度统计服从高斯分布得到的，大名鼎鼎的最小权重滤波（WLS）便是基于此设计的，但是对梯度的L2L_2L2往往在抑制噪声的过程中，将许多纹理也平滑掉了。TV约束是基于梯度统计服从拉普拉斯统计得到的，其对于噪声鲁棒性更好，对纹理细节的保留也优于L2L_2L2范数约束。梯度L0L_0L0范数约束比起TV约束更强调局部一致性（TV约束相较而言更强调局部平滑性）。除此之外，在图像去模糊中，还常用到超拉普拉斯先验，即认为梯度分布的范数在(0,1]之间，其更加符合对自然图像梯度统计的描述。

先验	表示
梯度L2L_2L2范数	prior(x)=∥∇∥22prior(x)=\\|\nabla\\|^2_2prior(x)=∥∇∥22
TV约束	prior(x)=∥∇∥1prior(x)=\\|\nabla\\|_1prior(x)=∥∇∥1
梯度L0L_0L0约束	prior(x)=∥∇∥0prior(x)=\\|\nabla\\|_0prior(x)=∥∇∥0
超拉普拉斯先验	prior(x)=∥∇∥αprior(x)=\\|\nabla\\|^\alphaprior(x)=∥∇∥α, 0<α≤10<\alpha\leq10<α≤1

非局部相似性

在自然图像的不同位置，存在相似的纹理，且许多自然图像自身的纹理存在规律性。这说明自然图像本身信息是冗余的，我们可以利用图像的冗余信息对图像缺失或被污染的部分进行修复。

利用图像非局部相似性首先要找到图像中相似的纹理，最常用的方法是块匹配，即把图像分解成一个一个的小块，每个小块看作是一个单元，在图像中寻找与其相似的一个或多个小块。最经典的块匹配方法当然非Barnes的PatchMatch方法莫属。比起一个小块一个小块去比对，PatchMatch提供了一种近似的方法可以快速找到相似块。
现在主流的去噪方法和图像修复方法都是基于图像的非局部相似性。在去噪方面，非局部均值（non local mean，NLM）是利用非局部相似性去噪的开山之作。在此基础上发展而来的BM3D是应用最广泛，也是效果最好的去噪方法之一。关于这两种方法的介绍可以参见这篇博客。后面在NLM基础上也出现了一系列的改进方法，如将非局部相似性与低秩方法结合借来的WNNM，MCWNNM等去噪方法都取得了不错的效果。
在图像修复方面，块匹配方法在单帧图像缺失部分的修补方面占据了半壁江山。除此之外，还有基于Graph Cut进行图像修复的方法。但无一例外，所有这些方法都是利用了图像的非局部自相似性。关于图像修复可以参见这篇文章对这些方法的概述。另外，这篇文章还提到了一个有意思的观察，即自然图像中相似块之间的偏移量集中在少数几个偏移量上，这也从而说明了自然图像的纹理分布是存在一定周期性规律的。

稀疏性

稀疏性本身是指矩阵或向量中非零元素个数很少。对于自然图像来说，就是其可以用少量的几个独立成分来表示。即图像可以通个某些线性变化变成稀疏信号。图像的稀疏性是图像可以用压缩感知方法进行恢复的先决条件。
压缩感知进行图像恢复的过程如下图所示，图像经过线性基变换Ψ\PsiΨ可以变成稀疏向量SSS。对原始图像进行随机采样可以得到观测向量yyy。利用观测向量yyy和恢复矩阵Θ\ThetaΘ（常常是冗余字典）可以恢复出原始图像。

统计特性

统计特性是通过对大量图像进行学习得到的统计规律。这种特性比较抽象，一般对图像进行概率分布建模，将统计特性融合在概率模型的求解的参数里。一个比较常见的例子是EPLL先验（Expected Patch Log LIkelihood），其使用混合高斯模型从大量自然图像块中学习到先验知识。
基于监督模型的深度学习方法也是利用神经网络去自学习自然图像中的统计特性。

Deep image prior

这是CVPR2018的文章。其也是通过神经网络获取图像先验，只不过与上面提到的用神经网络学习大量图像中的统计特性不同，deep image prior认为神经网络本身就是一种先验知识，网络自身结构限制了解的范围。网络会从退化图像中提取特征以用于退化图像的复原，且从结果可以看到，网络会先学习到图像中“未被破坏的，符合自然规律的部分”，然后才会学会退化图像中“被破坏的部分”。

Deep Image Prior类似于自然图像的非局部自相似性。关于Deep Image Prior的介绍可以参见这里。

参考：

https://www.jianshu.com/p/ed8a5b05c3a4
http://www4.comp.polyu.edu.hk/~cslzhang/paper/IR_lecture.pdf
http://www4.comp.polyu.edu.hk/~cslzhang/paper/SPM_IR.pdf

自然图像先验与图像复原相关推荐

CVPR 2018 | 使用CNN生成图像先验，实现更广泛场景的盲图像去模糊
现有的最优方法在文本.人脸以及低光照图像上的盲图像去模糊效果并不佳,主要受限于图像先验的手工设计属性.本文研究者将图像先验表示为二值分类器,训练 CNN 来分类模糊和清晰图像.实验表明,该图像先验比目 ...
cnn生成图像显著图_使用CNN生成图像先验实现场景的盲图像去模糊
论文链接:https://arxiv.org/abs/1803.03363 CVPR2018 摘要提出了一种基于数据驱动的判别先验的盲图像去模糊方法.此项工作是基于这样一个事实:一个好的图像先验应该 ...
使用CNN生成图像先验，实现更广泛场景的盲图像去模糊
现有的最优方法在文本.人脸以及低光照图像上的盲图像去模糊效果并不佳,主要受限于图像先验的手工设计属性.本文研究者将图像先验表示为二值分类器,训练 CNN 来分类模糊和清晰图像.实验表明,该图像先验比目 ...
学术 | 一种新的CNN网络可以更高效地区分自然图像生成图像
作者 | Weize Quan , Kai Wang, Dong-Ming Yan , Xiaopeng Zhang 译者 | linstancy 编辑 | Jane 出品 | AI 科技大本营 [导 ...
平行坐标系下采用CHT方法检测自然图像中的消失点(VanishingPoint)
--------------------20210826更新-------------------- code和paper链接:https://pan.baidu.com/s/13RyRu0rg7Fh ...
解密深度图像先验，使用深度图像先验来复原图像
点击上方"AI公园",关注公众号,选择加"星标"或"置顶" 作者:Pratik Katte 编译:ronghuaiyang 导读之前分享了 ...
清华大学提出基于生成对抗神经网络的自然图像多风格卡通化方法并开源代码...
近日,清华大学刘永进教授课题组在 IEEE Transactions on Visualization and Computer Graphics 上发表论文,提出基于生成对抗神经网络的自然图像多风格 ...
Deep Image Prior：深度卷积网络先天就理解自然图像
点击我爱计算机视觉标星,更快获取CVML新技术昨天分享了文章ICCV 2019 | Adobe 无需大量数据训练,内部学习机制实现更好的视频修补,其中借鉴的Deep Image Prior (DIP ...
清华大学提出基于生成对抗神经网络的自然图像多风格卡通化方法并开源代码
近日,清华大学刘永进教授课题组在 IEEE Transactions on Visualization and Computer Graphics 上发表论文,提出基于生成对抗神经网络的自然图像多风格 ...