抖音图像修复背后技术——CVPR2021多阶段图像修复框架（附github源码下载）

转载自https://mp.weixin.qq.com/s/NexOBSFoYXdFoSbK3ON1cQ

论文：https://arxiv.org/pdf/2102.02808.pdf
Github代码：https://github.com/swz30/MPRNet

在现实生活中，难免会有老旧照片或者受损图片。在热门的抖音中也频繁出现照片修复特效，其实背后都是我们熟知的“Image Restoration”。图像恢复任务需要在恢复图像时，在空间细节和高级上下文化信息之间保持复杂的平衡。

一、前言概要

本次分享中，研究者提出了一种新的协同设计，可以最优地平衡这些难点。主要研发出的是一个多阶段架构，它逐步学习退化输入的恢复函数，从而将整个恢复过程分解为更易于管理的步骤。

具体地说，新的模型首先使用编码器-解码器架构来学习上下文化的特征，然后将它们与保留的局部信息的高分辨率分支相结合。在每个阶段，都引入了一种新的per-pixel自适应设计，它利用原位监督的关注来重量化局部特征。这种多阶段架构的一个关键组成部分是不同阶段之间的信息交换。

为此，提出了一种two-faceted的方法，其中信息不仅从早期到后期依次交换，而且特征处理块之间也存在横向连接，以避免任何信息的丢失。由此产生的紧密相连的多级体系结构，命名为MPRNet，在十个数据集上提供了强大的性能增益，包括图像去噪、去模糊等。

Image deblurring on the GoPro dataset

研究者通过在十个合成和现实世界的数据集上设置新的最新技术来演示MPRNet的有效性，用于各种恢复任务，包括图像去噪、去模糊和去噪，同时保持低复杂度(见上图)。此外，后文我们还分享了了详细的描述、定性结果和泛化测试。

二、Multi-Stage Progressive Restoration

上图就是提出的图像恢复框架，包括三个逐步恢复图像的阶段。前两个阶段是基于编码器-解码器子网络，它们由于较大的感受野而学习广泛的上下文信息。由于图像恢复是位置敏感任务（需要从输入到输出的像素到像素对应），因此最后阶段使用对原始输入图像分辨率进行操作的子网络（没有任何下采样操作），从而在最终输出图像中保留所需的精细纹理。

整体框架不是简单地级叠多个阶段，而是在每个两个阶段之间合并一个监督注意模块。在对GT图像的监督下，模块重新调用上一阶段的特征映射，然后将它们传递到下一阶段。此外，研究者还引入了一种跨阶段特征融合机制，其中早期子网的中间多尺度上下文特征有助于巩固后一个子网的中间特征。

(a)Encoder-decoder subnetwork. (b)Illustration of the original resolution block (ORB) in our ORSNet subnetwork. Each ORB contains multiple channel attention blocks. GAP represents global average pooling[Wei Liu, Andrew Rabinovich, and Alexander C Berg. ParseNet: Looking wider to see better. arXiv:1506.04579, 2015]. (c)Cross-stage feature fusion between stage 1 and stage 2. (d)CSFF between stage 2 and the last stage.

Supervised Attention Module

最近的图像恢复多阶段网络[Maitreya Suin, Kuldeep Purohit, and A. N. Rajagopalan. Spatially-attentive patch-hierarchical network for adaptive motion deblurring. In CVPR, 2020.]直接预测每个阶段的图像，然后传递到下一个连续阶段。相反，新框架在每两个阶段之间引入一个监督注意模块，这有助于实现显著的性能增益。SAM的示意图见下图。首先，它提供了对每个阶段的渐进式图像恢复有用的GT监控信号。其次，在局部监督预测的帮助下，生成注意力特征图，以抑制当前阶段信息较少的特征，并且只允许有用的特征传播到下一个阶段。

三、实验与分析

上表显示，新方法通过在所有五个数据集上持续获得更好的PSNR/SSIM分数，显著提高了最先进的水平。与最近最好的算法MSPFN相比，新方法获得了1.98dB（所有数据集的平均值）的性能增益，表明误差降低了20。一些数据集上的改进大到4dB，例如Rain100L。此外，新模型比MSPFN少3.7倍的参数，而快2.4倍。

上图显示了具有挑战性的图像的视觉比较。MPRNet有效地消除了不同方向和大小的雨条纹，并生成了视觉上令人愉快和忠实于GT的图像。相反，其他方法会损害结构内容（第一行)，引入artifacts(第二行)，并且不会完全消除雨条纹(第三行）。

上图显示了评估方法中的一些去模糊图像。总的来说，由新模型恢复的图像比其他模型恢复的图像更清晰，更接近GT。

如上图，说明了视觉结果。新方法能够去除真实的噪声，同时保留了结构和纹理的图像细节。相比之下，由其他方法恢复的图像要么包含过于平滑的内容，或者包含具有斑点纹理的工件。

抖音图像修复背后技术——CVPR2021多阶段图像修复框架（附github源码下载）相关推荐

修复采集接口版云开发表情包微信小程序源码下载增加制作等功能
大家好,相信很多人对这个界面的表情包小程序肯定不陌生吧不错之前该款小程序是属于独立后端的,不管今天所发的这款是云开发的哟运营着这个表情包的用户应该发现了,最近很多表情包图片都失效了所以呢,今天小 ...
强大的Python分析5000+抖音大V，几行代码发现大家都喜欢这类视频【源码分享】
最近,小F在知乎上看到一个关于抖音的问题. 里面提到了,目前我国人均每天刷短视频110分钟. 看这数据,看来小F又被平均了. 不过老实说,只要一打开抖音,小F确实是有一种停不下来的感觉- 所以还是少刷 ...
8月新亲测完美短视频点赞系统支持抖音+快手+刷宝+微视等所有主流短视频点赞/关注/评论系统源码
定制更新内容如下: 1.前端UI全部更新仿V10京唯淘系统的 : 2.修改支付接口为线下 : 3.增加提现最低金额设置 : 4.增加后台新提现与任务查看更多关于任务的文章审核提示音: 5.新增 ...
修复登录接口版影视微信小程序全新UI程序源码下载附带简单教程
从四月份底开始市场上的小程序基本都是登录接口失效了因为4月28号开始腾讯更新了登录接口所以导致那些小程序获取不到用户头像和名字,所以都是显示的微信用户本次给大家带来的这一款影视小程序是更新登录接 ...
抖音4.0热门技术视频怎么修改dm5值
抖音4.0热门技术视频怎么修改dm5值国内月活冲破5亿,日活突破2.5亿,在成立不到三年的时间中,抖音就已创造出流量奇迹,在数据上直逼国内第一流量巨头腾讯., ...
抖音内部上热门技术视频md5指的是什么意思
抖音内部上热门技术视频md5指的是什么意思在这个网红迸发的时代,大家不得不承认,除了明星外,网红背后的粉丝效应是很强大的.,觉得小编分享的内容对你有帮助的话, ...
抖音私信引流话术，抖音私信引流技术
今天分享快手抖音私信引流话术,最新快手.抖音私信引流技术如何做呢?首先手机是必备工具,然后有一个活跃的抖音号,也就是最好养过一段时间(如果不知道如何养号,翻看本站抖音养号). 1.在抖音中搜索想要推广 ...
android flv 编码器,Android 音视频深入十七 FFmpeg 获取 RTMP 流保存为 flv (附源码下载)...
Android 音视频深入十七 FFmpeg 获取 RTMP 流保存为 flv (附源码下载) 项目地址 https://github.com/979451341/RtmpSave 这个项目主要代码 ...
php拼音模糊查询,PHP模糊查询技术实例分析【附源码下载】
本文实例讲述了PHP模糊查询技术.分享给大家供大家参考,具体如下: 简介从本质上揭密PHP模糊查询技术功能根据输入的关键字查找相关用户 PHP用户查询器案例分析课程目标掌握PHP模糊技术的应 ...

抖音图像修复背后技术——CVPR2021多阶段图像修复框架（附github源码下载）

抖音图像修复背后技术——CVPR2021多阶段图像修复框架（附github源码下载）相关推荐

最新文章

热门文章