(NIPS2020)Unfolding the Alternating Optimization for Blind Super Resolution 笔记

(NIPS2020)Unfolding the Alternating Optimization for Blind Super Resolution

https://github.com/greatlog/DAN.git

一、建模

现有盲超分方法大多基于以下退化模型：

为解决这个模型，一般先进行去噪，剩下的就是解决模糊核估计和超分问题：

为解决这个优化问题呢，一般又将该问题分成两步迭代求解：

但是这个解决方案有几个问题：1）这两步是分开处理的，需要多个模型，训练麻烦；2）对于模糊核的估计只利用了观测值y，缺少来自x的信息的话，难以精确估计；3）之前的有些方法训练SR模型时将真实kernel作为输入，但是测试时使用的是估计的kernel，这个不匹配带来严重问题。为此，作者提出如下迭代方案：

分别用一个kernel Estimator和超分Restorer网络解决上式的两个子问题，然后将这两步统一到一个模型里进行端到端的迭代优化求解：

具体而言，这里总共迭代了4步，也就是有4个Estimator和Restorer。且这四个网络模块分别参数共享来实现迭代，估计的模糊核也只用在最后一次迭代后进行监督。

二、实现细节

网络中的两个模块都有两个输入。估计器以LR和SR图像为输入，恢复器以LR图像和模糊核为输入。将LR图像定义为基本输入，另一个定义为条件输入。例如，模糊核是恢复器的条件输入。在迭代过程中，两个模块的基本输入保持不变，但它们的条件输入会重复更新。作者认为保持每个模块的输出与其条件输入密切相关是非常重要的。否则，迭代结果将发生mode collapse。具体而言，就是无论输入什么样的SR图像，估计器都输出相同的模糊核，或者恢复器输出相同的SR图像而不考虑模糊核的值，则它们的输出只依赖于基本输入，并且在迭代过程中结果保持不变。为解决这个问题，作者提出了条件残差模块（CRB）：

Estimator和Restorer均采用这个模块作为基本单元，Estimator包含5个CRB，基本输入和条件输入的通道数是32，Restorer包含40个CRB，基本输入是64通道，条件输入是10通道。

三、实验

包含两套实验配置，第一个是针对各向同性高斯模糊核，核大小固定为21。第二套配置是针对不规则模糊核

(NIPS2020)Unfolding the Alternating Optimization for Blind Super Resolution 笔记相关推荐

Unfolding the Alternating Optimization for Blind Super Resolution
Unfolding the Alternating Optimization for Blind Super Resolution 论文信息 Paper: [NeurIPS2020] Unfoldin ...
Google Pixel 超分辨率--Super Resolution Zoom
Google Pixel 超分辨率–Super Resolution Zoom Google 的Super Res Zoom技术,主要用于在zoom时增强画面细节以及提升在夜景下的效果. 文章的主要贡 ...
CV之SR：超分辨率(Super resolution)的简介、使用方法、案例应用之详细攻略
CV之SR:超分辨率(Super resolution)的简介.使用方法.案例应用之详细攻略目录超分辨率(Super resolution)的简介超分辨率(Super resolution)的使 ...
Super Point 笔记（二）
Super Point 笔记-- 网络结构接续上一篇文章,上一篇文章中已经大体介绍了Superpoint 网络的框架,本文将继续介绍superpoint内的网络部分 Super Point 结构与 ...
论文翻译：2019_Speech Super Resolution Generative Adversarial Network
博客作者:凌逆战论文地址:基于GAN的音频超分辨率博客地址:https://www.cnblogs.com/LXP-Never/p/10874993.html 论文作者:Sefik Emre Es ...
论文翻译：Speech Super Resolution Generative Adversarial Network
博客作者:凌逆战论文地址:https://ieeexplore.ieee.org/document/8682215 博客地址:https://www.cnblogs.com/LXP-Never/p/ ...
【Super Resolution】超分辨率——SRCNN
SRCNN 01 闲聊--图像的超分辨率 02 SRCNN--超分和DL的结合 02-1 双三次插值 02-2 SRCNN的网络结构 02-3 Training 训练阶段 03 EXPERIMENTS ...
Wavelet-SRNet: A Wavelet-based CNN for Multi-scale Face Super Resolution
Wavelet-SRNet: A Wavelet-based CNN for Multi-scale Face Super Resolution 2017 ICCV 1.引言 2.网络结构 3.损失函 ...
漫谈深度学习在Super Resolution（超分辨率）领域上的应用
1.前言清晨,师兄推荐给我一篇文章,关于利用DeepLearning思想进行图像超分辨恢复的.超分辨这个话题几年之前还是比较火爆的,无论是BiCube.SP.A*都给出了令人振奋的结果.但是细节恢复 ...

(NIPS2020)Unfolding the Alternating Optimization for Blind Super Resolution 笔记

(NIPS2020)Unfolding the Alternating Optimization for Blind Super Resolution 笔记相关推荐

最新文章

热门文章