CVPR 2020 Oral｜效果超群的老照片“复活”算法

介绍一篇新出的CVPR 2020 Oral 论文 Bringing Old Photos Back to Life ，老照片的修复，在视觉效果上看效果超群。

该文作者来自香港城市大学、微软亚洲研究院、微软云+ AI、中国科学技术大学。

下图为使用该文方法修复的视觉效果：

无论对于有斑点的污损、照片模糊、还是噪声影响，是不是修复效果都还是很显著的？

该文方法可以处理更接近真实场景的结构化和非结构化的复杂的混合降质。

通常使用深度学习方法进行图像修复需要得到降质前后的图像，但对于老照片这是不存在，所以需要合成老照片和与其对应的未降质图像，但因为老照片含有胶片颗粒化、褪色、损伤等降质，难以合成高质量的未降质图像。

该问题设计到三个域：老照片域、合成老照片域、合成的未降质的老照片域。如下图：

主要思路：

作者使用变分自动编码机（VAE）将图像变换到隐空间，并在隐空间进行图像恢复操作。

如下图所示：

作者使用了两个VAE，第一个VAE用于将真实老照片和合成老照片进行编码到隐空间，训练时同时加入一个对抗学习鉴别器。第二个VAE用于将干净的合成老照片进行编码。

然后，在隐空间学习从污损的老照片到干净图像的映射。同时为了处理复杂的图像退化，作者在此映射的学习中使用了带有partial nonlocal block的全局分支（global branch），用于处理结构化缺陷（例如划痕和灰尘斑点）；和一个局部分支，用于处理非结构化缺陷（例如噪声和模糊）。

在第一个VAE中实现了域对齐，实现了更好的老照片修复。

修复效果：

下图为与其他state-of-the-art方法修复结果的比较（请点击查看大图）：

可见视觉效果提升是很明显的。

下表为在合成的DIV2K数据集上的数值比较结果：

与其他方法比，结果并不是最好。

但关键老照片恢复还得看视觉质量，于是作者们也进行了用户调查：

这次就很拔群了！

期待作者代码开源出来，试一试！

更多结果：

论文地址：

https://arxiv.org/pdf/2004.09484.pdf

项目地址:

http://raywzy.com/Old_Photo/

END

备注：修复

图像增强、修复交流群

图像增强、去雾、去雨、图像修补、图像恢复等技术，

若已为CV君其他账号好友请直接私信。

我爱计算机视觉

微信号:aicvml

QQ群:805388940

微博知乎:@我爱计算机视觉

投稿:amos@52cv.net

网站:www.52cv.net

在看，让更多人看到

CVPR 2020 Oral｜效果超群的老照片“复活”算法相关推荐

MAML-Tracker: 目标跟踪分析：CVPR 2020(Oral)
MAML-Tracker: 目标跟踪分析:CVPR 2020(Oral) Tracking by Instance Detection: A Meta-Learning Approach 论文链接:h ...
旷视提双边分支网络BBN：攻坚长尾分布的现实世界任务 | CVPR 2020 Oral
作者 | 旷视研究院出品 | AI科技大本营(ID:rgznai100) 导读:本文是旷视 CVPR 2020 论文系列解读文章,也是 CVPR 2020 Oral展示论文之一,它揭示了再平衡方法解 ...
CVPR 2020 Oral 文章汇总，包括论文解读与代码实现
点击上方,选择星标或置顶,不定期资源大放送! 阅读大概需要10分钟 Follow小博主,每天更新前沿干货 [导读]本文为大家整理了10篇CVPR2020上被评为Oral的论文解读和代码汇总. 1.Ra ...
CVPR 2020 Oral：一行代码提升迁移性能，中科院计算所研究生一作
贾浩楠发自凹非寺量子位报道 | 公众号 QbitAI 在迁移学习任务中,一直存在这样的问题: 目标域由于没有标签,常常导致分界面附近混淆较多的数据. 中科院计算所的在读研究生崔书豪等,提出了一 ...
CVPR 2020 Oral 汇总：论文 / 代码 / 解读（更新中）
在2月24日,CVPR 2020 公布接收论文结果公布,从 6656 篇有效投稿中录取了 1470 篇论文,录取率约为 22%.3月13日,CVPR Oral结果公布了.有大佬已经分享了自己的工作,本 ...
CVPR 2020 Oral | 无域标签下高清场景时移变换
©PaperWeekly 原创 · 作者|武广学校|合肥工业大学硕士生研究方向|图像生成同一个场景在不同时间段存在着一定的变化,这主要取决于光照对图像的成像的影响,如何通过一个时间段的场景图像在 ...
CVPR 2020 Oral | 旷视研究院提出双边分支网络BBN：攻坚长尾分布的现实世界任务...
IEEE 国际计算机视觉与模式识别会议 CVPR 2020 (IEEE Conference on Computer Vision and Pattern Recognition) 将于 6 月 14 ...
提高图形匹配精度，亮风台提出「完全可训练」的图匹配方法｜CVPR 2020 Oral
来源|亮风台投稿 6月14日-19日,CVPR 2020在线上举行,据了解,本届大会共收到6656篇投稿,接收论文1470篇,录用率约22%,低于CVPR 2019论文录用率(25%),为十年以来最低 ...
CVPR 2020(Oral) | 中科院等提出BNM：标签不充分下的判别性与多样性约束方法
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达整理:Cver 本文作者:Spaceman https://zhua ...

CVPR 2020 Oral｜效果超群的老照片“复活”算法

CVPR 2020 Oral｜效果超群的老照片“复活”算法相关推荐

最新文章

热门文章