Image inpainting 图像修补最新综述

点击我爱计算机视觉标星，更快获取CVML新技术

前几天52CV发布了一篇图像修补（Image Inpainting）的文章：AI魔法手！用算法修复老照片，引起了不少朋友关注，有位朋友问有没有图像修补的最新进展，今天就跟大家分享一篇前天新出的图像修补论文：Image inpainting: A review。

论文作者信息：

作者均来自卡塔尔大学。

图像失真与图像修补应用

图像修补是在图像被各种类型内容影响失真后的恢复，作者列出了常见的图像失真类型，如下图：

包括块状遮挡、文本遮挡、噪声、目标遮挡、图像掩膜、照片划痕等。

不仅有开篇提到的修复老照片应用，图像修补的应用包括：

图像恢复（针对照片划痕和文本遮挡的去除）、照片编辑（去除不想要的目标，感觉这个很好玩）、图像编码和传输（在图像传输过程中网络丢包带来的图像块状内容丢失）都需要用到。

图像修补算法分类

作者将图像修补的算法分成三类：

1、基于序列的方法；

2、基于CNN的方法；

3、基于GAN的方法；

基于序列的方法

包括 1）基于图像块（Patch）的方法和 2）基于扩散（diffusion）的方法。

基于图像块的方法基本思想是在原图上寻找相似图像块，将其填充到要修补的位置。

基于扩散的方法是修补位置边缘的像素按照与正常图像区域的性质向内生长，扩散填充整个待修补区域。

上述方法近几年的工作汇总表：

可见基于图像块的算法更多一些。

基于CNN的方法

基于序列的方法对于修补图像的纹理损坏等局部失真是可行的，但应对某些全局信息失真则显得力不足心。

基于CNN的方法则可以很好的弥补这一不足。

基于CNN的方法中，编码器-解码器结构的网络是该领域的主流。（好像对于涉及到图像到图像的任务，都是这一结构居多）

基于CNN的图像修补方法一览：

可见一半的方法都是编码器-解码器结构。

文献中报告的一些基于CNN的方法修补结果精度一览：

基于GAN的图像修补方法

生成对抗网络在图像生成任务中正越来越被重视，当然也被用于图像修补。

下图为GAN的示意图，包含生成网络和鉴别网络。

这部分的工作还不是很多，可以查到的工作PEPSI++、FiNet等。

文献中报告的一些基于GAN的方法修补结果精度一览：

图像修补数据集

任何计算机视觉方向的发展都离不开数据的支撑，在深度学习时代更是这样。

一些常见的不同场景图像修补数据集示例如下：

常用数据集比较及汇总：

可见除了一些含有常见通用的目标的图像，还有人脸、街道、汽车、文本等的专门的图像修补数据集。

该论文是图像修补方向的最新综述，非常值得从事相关研究开发的朋友参考。

论文地址：

http://arxiv.org/abs/1909.06399v1

论文下载：

在我爱计算机视觉公众号对话界面回复“图像修补综述”（建议复制），即可收到该论文国内下载地址。

图像增强与修补恢复交流群

关注最新最前沿的图像增强、图像修补恢复，扫码添加CV君拉你入群，（如已为CV君其他账号好友请直接私信）

（请务必注明：图像修补）

喜欢在QQ交流的童鞋，可以加52CV官方QQ群：805388940。

（不会时时在线，如果没能及时通过验证还请见谅）

长按关注我爱计算机视觉

Image inpainting 图像修补最新综述相关推荐

OpenCV系列之图像修补 | 五十九
目标在本章中, 我们将学习如何通过一种称为"修复"的方法消除旧照片中的小噪音,笔画等. 我们将看到OpenCV中的修复功能. 基础你们大多数人家里都会有一些旧的旧化照片,上面有 ...
opengl深度缓冲获得的深度图精度太低_深度学习行人重识别ReID最新综述与展望...
点击上方"计算机视觉life",选择"星标" 快速获得最新干货 arXiv 新出论文 Deep Learning for Person Re-identific ...
python 快速行进算法图像修补
图像修复很多时候遇到受损的图片我们需要利用机器视觉的手段对其进行修复,opencv中提供了inpaint函数实现了这一功能. 1.先来看一个例子首先读入图片: import numpy as np ...
Attention！注意力机制模型最新综述（附下载）
来源:专知本文多资源,建议阅读5分钟. 本文详细描述了Attention模型的概念.定义.影响以及如何着手进行实践工作. [导读]Attention模型目前已经成为神经网络中的一个重要概念,本文为 ...
Deep Learning论文笔记之（八）Deep Learning最新综述
Deep Learning论文笔记之(八)Deep Learning最新综述 zouxy09@qq.com http://blog.csdn.net/zouxy09 自己平时看了一些论文,但老感觉看完 ...
二值神经网络（Binary Neural Networks）最新综述
作者|秦浩桐.龚睿昊.张祥国单位|北京航空航天大学研究方向|网络量化压缩本文介绍了来自北京航空航天大学刘祥龙副教授研究团队的最新综述文章 Binary Neural Networks: A Su ...
深度学习超分辨率最新综述：一文道尽技术分类与效果评测
置顶我爱计算机视觉,更快获取CVML新技术最近52CV介绍了好几篇图像超分辨率的工作,比如: CVPR 2019 神奇的超分辨率算法DPSR:应对图像模糊降质 CVPR 2019 | 旷视提出超分辨 ...
多目标跟踪(MOT)最新综述，一文快速入门
多目标跟踪(MOT)最新综述,一文快速入门 0 写在前面去年暑期实习的时候,误打误撞进了一家自动驾驶公司,做了多目标跟踪的工作,工作也是秋招时靠着相关工作拿到了几个算法岗offer,后来毕业课题也换 ...
100个深度图像分割算法，纽约大学UCLA等最新综述论文
转载自 https://new.qq.com/omn/20200122/20200122A0BEL300.html 100个深度图像分割算法,纽约大学UCLA等最新综述论文 [新智元导读]来自纽约大学 ...

Image inpainting 图像修补最新综述

Image inpainting 图像修补最新综述相关推荐

最新文章

热门文章