点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”

作者：Pratik Katte

编译：ronghuaiyang

导读

之前分享了一篇文章，说到可以只用一张图像训练，进行图像的复原，用到的方法就是深度图像先验，今天，我们来解密这篇文章，到底讲了些什么。

在这篇文章中，我将主要关注图像恢复的任务，以及如何使用deep image prior来解决这个任务。

图像恢复介绍

图像恢复是指从退化图像中恢复未知真图像的任务。图像的退化可能发生在图像的形成、传输和存储过程中。这个任务有一个广泛的使用范围，卫星成像，暗光线的摄影，由于数字技术的发展，计算机和通信技术恢复退化图像是非常重要的，因此，这已经演变成一个交叉研究领域，包括图像处理，计算机视觉和计算成像。

图像恢复主要有三个任务：

1. 图像去噪

图像去噪是指对加性噪声污染的图像进行恢复。这是图像恢复中最简单的任务，因此已被多个技术团体广泛研究。

Fig.1 (左)加噪声的图, (中间)真实图, (右)高斯噪声

2. 超分辨率

超分辨率是指从一组低分辨率图像中生成高分辨率图像(或高分辨率图像序列)的过程。

Fig2. (左)低分辨率图像, (右)高分辨率图像

3. 图像修复

图像修复是对丢失的图像退化部分进行重建的过程。In-painting其实是一种古老的艺术，它要求人们去画出画作中已经变质和遗失的部分。但在当今世界，研究人员已经想出了许多方法，利用深度卷积网络来实现这一任务的自动化。

Fig. 3 (左) 输入, (右) 输出

什么是深度图像先验？

随着2012年alexnet在image-net比赛中的成功，卷积神经网络在计算机视觉和图像处理任务中得到了广泛的应用，被广泛应用于执行图像的逆重构任务，并取得了优异的成绩。

深度卷积网络之所以成功，是因为它能够从大量的图像数据集中学习。Dmitry Ulyanov在其令人吃惊的论文《Deep Image Prior》中指出，为了解决像图像恢复这样的逆问题，网络的结构是充分的，并且在从退化图像中恢复原始图像时施加了一个强先验。本文强调，要完成这些任务，不需要预先训练的网络或大型图像数据集，只需考虑退化图像即可完成。

学习先验和显式先验是图像恢复中最常用的两种方法。

学习先验是一种通过数据集直接训练深度卷积网络学习世界的方法，它以噪声图像作为输入，以干净图像作为期望输出。

另一方面，显式先验或手工先验方法，是我们嵌入一个硬约束，并从生成的数据中教给网络什么类型的图像是自然的，比如说脸等。用数学的方法来表达约束条件是非常困难的。

我们来看看技术...

Fig.4. (左)干净图像， (中间)退化的图像，(右)复原图像

x → 干净图像

ẋ → 退化图像

x* → 恢复图像

我们可以使用最大后验分布从经验数据估计未观测值

利用贝叶斯规则，我们可以把它表示为似然×先验

我们可以把这个方程写成最优化问题，而不是单独处理分布：

对式(1)加个负号

E(x;ẋ)是数据项，也就是似然的负对数，R(x)是图像的先验项，也就是先验的负对数。

现在的任务是在图像x上最小化Eq(2)。传统的方法是用随机噪声初始化x，然后计算函数关于x的梯度，遍历图像空间直到收敛到某个点。

Fig. 5 常规方法的可视化

另一种方法是构造一个函数g，使用随机θ进行初始化，其输出来自一个不同的空间，可以映射成图像x，并且可以使用梯度下降来更新θ直到收敛到某个点。所以，与其在图像空间进行优化，我们可以优化θ。

FIg. 6 参数方法的可视化

但是，为什么这种方法是可能的，为什么我们应该使用它？这是有可能的，因为从理论上讲，如果g是满射的g:θ↦x (如果至少一个θ映射到图像x )那么这个优化问题是等价的，这样他们有相同的解决方案。但是在实践中，优化方法搜索图像空间的方式发生了巨大的变化。实际上，我们可以将g视为超参数并对其进行优化。如果我们观察，g(θ)作为先验可以帮助选择一个好的映射，能够输出所需的图像并且可以防止我们得到错误的图片。

那么，不是去优化两个分量的和。我们现在只优化第一项。

现在Eq 2，可以表示为，

其中，z 是随机的固定输入图像，θ是随机初始化权，可以梯度下降法来进行更新，以获得所需的输出图像。

但为什么要考虑这种参数化方法还不清楚。理论上乍一看，它似乎会产生原始的噪声图像。在本文中，作者进行了一个实验，该实验表明，当使用梯度下降法对网络进行优化时，卷积神经网络不愿意接受噪声图像，更容易快速地向自然图像下降。

Fig. 7 重建任务的学习曲线使用：一张自然图像，加上相同的i.i.d.噪音，相同的随机打乱，白噪声。自然外观的图像收敛速度更快，而噪声被拒绝。

一步一步来做深度图像先验

ẋ=损坏图像(观察)

1. 初始化z：用均匀噪声或任何其他随机图像填充输入z。

2. 求解，利用基于梯度的方法对函数进行优化。

1. 最后当我们找到最佳的θ，我们可以获得最佳的图像，只需向使用参数θ的网络中传入固定的输入z，然后前向传播就可以了。

Fig. 8: 利用深度图像先验进行图像恢复。从一个随机权重θ0,我们通过最小化数据项方程(2)反复进行更新。在每一个迭代权重θ映射到图像x = fθ(z), z是一个固定的张量和映射f是一个神经网络其参数为θ。图像x用于计算任务相关损失E(x, x0)，损失关于θ的梯度，.然后更新参数。

结论

本文尝试证明了在深度卷积神经网络结构中构造随机权值的隐式先验的方法非常适合于图像恢复任务。本文的研究结果在很大程度上表明，适当的手工网络架构可以很好地解决图像恢复的问题。

—END—

英文原文：https://towardsdatascience.com/demystifying-deep-image-prior-7076e777e5ba

请长按或扫描二维码关注本公众号

喜欢的话，请给我个好看吧！