Deblurring via Stochastic Refinement (Paper reading)

Jay Whang, University of Texas at Austin, USA, CVPR2022, Cited:24, Code: 无, Paper

目录子

Deblurring via Stochastic Refinement (Paper reading)
- 1. 前言
- 2. 整体思想
- 3. 方法
- 4. 总结

1. 前言

运动物体，相机抖动或失焦镜头等各种条件都可能导致伪影模糊。本文将去模糊作为一个条件生成建模任务，即引入了“预测和优化”条件扩散模型，相对于经典扩散模型，提出方法更有效的采样。OK, 又是to the best of our konwledge，第一个去模糊的扩散模型。还有一个有意思的点，就是对噪声αˉ\bar{\alpha}αˉ提出了改进，是模型可以在Perception-Distortion(P-D)上权衡。

2. 整体思想

其实就是额外训练了一个去模糊网络(预测)，然后得到的去模糊图像(Initial predicition)通过扩散模型来refine。如图，上面是扩散模型，去噪器以模糊图像和噪声作为输入，得到residual和去模糊图像相加得到输出。

3. 方法

加条件的方法与SR3一样，然后然后好像就结束了？真的没什么可说的了！！扩散模型的DDPM损失函数如下：
E∣∣ϵ−ϵθ(αˉx0+1−αˉϵ,t)∣∣2(1)\mathbb{E}||\epsilon - \epsilon_{\theta}(\sqrt{\bar{\alpha}}x_{0}+\sqrt{1-\bar{\alpha}}\epsilon,t)||^{2}\tag{1} E∣∣ϵ−ϵθ(αˉx0+1−αˉϵ,t)∣∣2(1)
本文的损失函数为：
E∣∣ϵ−ϵθ(αˉx0+1−αˉϵ,αˉ,y)∣∣1(2)\mathbb{E}||\epsilon - \epsilon_{\theta}(\sqrt{\bar{\alpha}}x_{0}+\sqrt{1-\bar{\alpha}}\epsilon, \bar{\alpha}, y)||_{1}\tag{2} E∣∣ϵ−ϵθ(αˉx0+1−αˉϵ,αˉ,y)∣∣1(2)
有点不太一样? 这里的yyy就是条件，作为去噪器的输入。在Wavegrad: Estimating Gradients for Waveform Generation中，指出L1范数效果好，且αˉ\bar{\alpha}αˉ是与时间ttt有关的且效果好。

在所有的感知指标上实现了SOTA，同时维持了良好的SoTA：

4. 总结

方法简单，效果不错。