超分辨率分析（四）--Deep Image Prior

转自：https://zhuanlan.zhihu.com/p/34504284 略删减，我怎么感觉这篇文章作者都没理解网络学习这个事情的本质。

本文中作者展示生成网络在经过任何学习之前就能够捕获大量的低级图像统计信息，也就是说，这些信息可能并不是通过大量的数据集学习得来。文中具体的实验方法，就是用一个随机初始化的生成网络，仅通过给定的图像就能得到重建后的图像，这种方法在去噪、超分辨、修补等人物上都有优异的表现。它也连接了两个非常流行的图像重建方法派别：基于学习的方法和基于非学习方法（例如self-similarity）。

本文中提出的Deep image prior方法可用于降噪、超分辨率、图像修复等领域，具体的见下面的例子

深度卷积神经网络（ConvNets）在图像去噪、超分辨等重建任务上达到了 state-of-the-art。相似结构的ConvNets更普遍地用在生成图像上，例如GAN、variational autoencoders、direct pixelwise error minimization。

这些 ConvNets 几乎都是基于大量图像数据集的训练，因此有一种假设说他们优异的表现由于它们从数据中学习真实图像先验的能力。然而单单学习还不足以解释深度网络的优异表现。例如，在文章 [Understanding deep learning requires rethinking generalization] 中，即使将标签随机打乱，同样泛化性能好的图像分类网络也可以很好地拟合这些数据。因此，泛化要求网络结构与数据结构“共鸣”。然而它们相互作用的机理，尤其是图像生成的，还尚不清楚。

在本文中，作者展示了一个与期望相反的现象，大量图像统计信息是由卷积生成网络的结构捕获的，而非任何学习能力。这对于解决各种图像恢复问题所需的图像统计信息尤其如此，在这些图像恢复问题中，我们需要图像先验来整理退化过程中丢失的信息。

为了展示这些，作者使用一个未训练的网络，来解决上述的重建问题，做法是让这个网络去拟合该张退化的图像，再无别的数据。在这个框架中，网络的权重就像是恢复的图像的参数化。给定一个退化的图像和对应的观测模型，网络的权重随机初始化，并且被拟合以最大化它们的似然性。

这个简单的构想在图像重建任务重很具竞争性。网络中没有任何一层面是从数据学习来的，而且网络的权重总是随机初始化，因此唯一的先验信息就是网络结构本身。这可能是第一次直接研究由卷积生成网络捕获的先验，而不依赖于从图像学习网络参数。

Denoising and generic reconstruction

给定一个目标图片 $x_0$ 和一个随机向量 $z$ ,通过一个生成网络 $f_\theta(z)$ 生成接近于目标图片 $x_0$ 的图片。我们可以通过以下损失函数来优化：

$\min_\theta\|f_\theta(z)-x_0\|^2$

如上图所示，我们希望通过损失函数来优化生成目标图片（corrupted），虽然在50K次迭代之后我们得到了非常接近于目标图片的结果，但是在2400次迭代的时候，模型意外的得到了一个更好的结果。这表明对于一张加噪后的图片 $x_0 = x + \epsilon$ ，生成网络在生成 $x_0$ 之前，会先生成没有噪声的自然图片 $x$ ，然后在自然图片分布之上模拟出加噪后的效果。

Super-resolution

$E(x， x_0)=\|d(x) - x_0\|^2$

其中 $d(\cdot)$ 为一个降采样操作： $R^{3\times tH \times tW}\to R^{3\times H \times W}$ ，损失函数的作用是找到一个超分辨率的图片，然后降采样得到一张和 $x_0$ 相同的图片。实现如下:

$E(x, x_0) = \|d(f_\theta(z)) - x\|^2$

在迭代的过程中，生成模型会先生成超分辨率图片 $x$ （ $3\times tH\times tW$ ），然后对 $x$ 简单的降采样操作 $d(\cdot)$ （downsample）.

Inpainting

对于图像修复的应用，采用的能量损失函数如下：

$E(x, x_0) = \|(x-x_0)\odot m\|^2$

同样地， $x=f_\theta(z)$

对于这些应用（降噪、超分辨率、图像修复），可以总结为一句话：生成网络在生成非自然图像之前，会先生成相应的自然图像，然后在自然图像上构造该不自然图像。关于这篇文章的题目Deep Image Prior，我的翻译是“深度图像先验”，传统的针对这些应用的方法，无不是通过大量的数据进行训练，得到的结果自然是基于这些训练数据的先验结果。但是本文中的模型不需要大量的数据进行计算，唯一的先验就是深度模型随机初始化的参数和深度结构本身——深度图像先验。

超分辨率分析（四）--Deep Image Prior相关推荐

超分辨率分析（二）--深度学习方案综述
转自:https://www.jiqizhixin.com/articles/19022403 图像超分辨率(SR)是指从低分辨率(LR)图像中恢复高分辨率(HR)图像的过程,是计算机视觉和图像处理中 ...
超分辨率分析（三）--端到端监督类深度学习方案综述
转自:https://zhuanlan.zhihu.com/p/31664818 超分辨率技术(Super-Resolution, SR)是指从观测到的低分辨率图像重建出相应的高分辨率图像,在监控设备 ...
超分辨率分析（一）--传统方案综述
转自:https://www.cnblogs.com/wxl845235800/p/9292972.html 图像超分辨率率(super resolution,SR)是指由一幅低分辨率图像(low r ...
【超分辨率】从SRCNN到EDSR，总结深度学习端到端超分辨率方法发展历程
此文转自知乎专栏棉花糖的工坊作者棉花糖 (侵删) 一直在学习图像超分辨率和深度学习,看到此文写得很好,故此转载分享.如有侵权,私信联系我,我将作删除. 超分辨率技术(Super-Resolut ...
【数字图像处理3 】（上）图像超分辨率重建（SR）概述
图像超分辨率重建一.前言(废话时间) 二.扫盲知识什么是超分辨率重建? 兴起原因三.传统超分辨率重建 1.基于插值的超分辨率重建 2.基于退化模型的超分辨率重建 3.基于学习的超分辨率重建四 ...
2020 超分辨率技术发展趋势
图像超分辨重建是一种提升图像分辨率的图像处理技术,而超分辨问题是一个难解的欠定问题,通常情况下,低分辨率图像被视为高分辨率图像经过模糊.下采样和噪声干扰后所得到的退化图像.从单一低分辨率图像恢复重构出 ...
深度学习（二十）——Ultra Deep Network, 图像超分辨率算法
http://antkillerfarm.github.io/ Ultra Deep Network FractalNet 论文: <FractalNet: Ultra-Deep Neural ...
【图像超分辨率】Deep Learning for Multiple-Image Super-Resolution
Deep Learning for Multiple-Image Super-Resolution 摘要 I. 引言 A. 相关工作 B. 贡献 II. 提议的EVONET算法 III. 实验 IV. ...
【图像超分辨率】Accurate Image Super-Resolution Using Very Deep Convolutional Networks
Accurate Image Super-Resolution Using Very Deep Convolutional Networks VDSR Accurate Image Super-Res ...

超分辨率分析（四）--Deep Image Prior

超分辨率分析（四）--Deep Image Prior相关推荐

最新文章

热门文章