基于深度学习的Image Inpainting (图像修复)论文推荐(持续更新)
传统的图形学和视觉的研究方法，主要还是基于数学和物理的方法。然而随着近几年深度学习在视觉领域取得的卓越的效果，视觉领域研究的前沿已经基本被深度学习占领。在这样的形势之下，越来越多的图形学研究者也开始将目光投向深度学习。在图形学和视觉交叉的领域，一系列问题的研究正在围绕深度学习火热展开，特别是在图像编辑(image editing)和图像生成(image generation)方面，已经初见成效。今天我们讨论的问题，图像补全(image inpainting)，正是介于图像编辑和图像生成之间的一个问题。
图像补全最初是一个传统图形学的问题。问题本身很直观：在一幅图像上挖一个洞，如何利用其它的信息将这个洞补全，并且让人眼无法辨别出补全的部分。这个问题对我们人类似乎很容易，比如下面这个洞，大家很容易脑补出洞里应该有窗户和门，背景是墙，如果还有一些绘画天赋的话，大概就能想象着把它补出来。但是这个任务对于计算机却显得格外困难，首先这个问题没有唯一确定的解，其次如何利用其它的信息？如何判断补全结果是否足够真实？
以深度学习为代表的机器学习，正在逐渐席卷整个图形学研究领域。研究者们逐渐发现，当传统的基于物理的模型发展遇到瓶颈的时候，机器学习的方法也许能够帮助我们解释这些复杂的数理模型。毕竟只有理解了图像的深层结构，才能更好地指导图像的生成和处理。
文章推荐
1. CVPR 2016的Context-Encoders（CNN+GAN， 鼻祖级的 NN修复方法）
链接： Feature Learning by Inpainting;
Github代码:
pathak22/context-encodergithub.com
2. CVPR 2017的High Resolution Inpainting(Context-Encoders+CNNMRF)
链接： High-Resolution Image Inpainting using Multi-Scale Neural Patch Synthesis;
Github代码:
leehomyc/Faster-High-Res-Neural-Inpaintinggithub.com
3. ICCV 2017的on demanding learning(感觉也是Context-Encoders的衍生版...)
链接：
On-Demand Learning for Deep Image Restoration，
Github代码:
rhgao/on-demand-learninggithub.com
4. SIGGRAPH 2017 (ACM ToG)的Globally and Locally Consistent Image Completion
(CE中加入Global+Local两个判别器的改进)，
Github代码:
1)https://github.com/satoshiiizuka/siggraph2017_inpaintinggithub.com
2)https://github.com/shinseung428/GlobalLocalImageCompletion_TF
其中第二个实现稍微不同于原论文。但是展示效果非常棒。
5. ICLR 2018的New AI Imaging Technique Reconstructs Photos with Realistic Results
Image Inpainting for Irregular Holes UsingPartial Convolutions
号称秒杀PS的AI图像修复神器，来自于Nvidia 研究团队。引入了局部卷积，能够修复任意非中心、不规则区域），代码还没有放出来
[1804.07723] Image Inpainting for Irregular Holes Using Partial Convolutionsarxiv.org
6. CVPR 2018的Generative Image Inpainting with Contextual Attention，
一作大佬jiahui Yu 后续还有个工作: Free-Form Image Inpainting with Gated Convolution,
Github代码：
JiahuiYu/generative_inpaintinggithub.com
7. 哈工大左旺孟老师他们也有一篇Shift-Net: Image Inpainting via Deep Feature Rearrangement
效果也不错，代码还没有放
8.Deep image prior
项目主页：https://dmitryulyanov.github.io/deep_image_prior
适用场景：
1）难以建模图像退化过程
2）难以得到训练图像进行监督训练
9.
ECCV 2018的Contextual-based Image Inpainting，inpainting大佬Chao Yang(NPS的一作)等人的又一力作:
Contextual-based Image Inpaintingarxiv.org
10.ArXiv 2019 EdgeConnect：使用对抗边缘学习进行生成图像修复
论文链接：ArXiv | BibTex
项目地址：https://github.com/knazeri/edge-connect#testing
EdgeConnect，一种基于边缘补全的图像修复新方法,这篇文章将图像修复的工作分成了两个部分，首先利用利用启发式的生成模型得到了缺失部分的边缘信息，随后将边缘信息作为图像缺失的先验部分和图像一起送入修复网络进行图像重建。（from 安大略技术大学）
具体来说，作者们提出了一个二阶段生成对抗网络 EdgeConnect，它包括一个边缘生成器，然后是一个图像补全网络。边缘生成器在图像的缺失区域（规则和不规则）生成预测边缘，然后图像补全网络使用预测边缘作为先验填充缺失区域。研究者通过公开可用的数据集 CelebA、Places2 和 Paris StreetView 对模型进行端到端评估，并表明它在数量和质量上优于当前最先进的技术。
详见这里
11. ACM MM 2018的Semantic Image Inpainting with Progressive Generative Networks，简称PGN，采用了由外至内的步进式修补策略，Github代码：
crashmoon/Progressive-Generative-Networksgithub.com
12. NIPS 2018的Image Inpainting via Generative Multi-column Convolutional Neural Networks，用了不少trick，
Github代码：
shepnerd/inpainting_gmcnngithub.com
13. CVPR 2019的Foreground-aware Image Inpainting, 思路类似于上面的工作，也是先推断生成轮廓边缘，辅助缺失区域进行修复，不知道上面的哥们看了这篇会是什么感受...速度也很重要啊...
Foreground-aware Image Inpaintingarxiv.org
14. CVPR 2019的Pluralistic Image Completion，
论文与Github代码：https://arxiv.org/abs/1903.04227arxiv.org
lyndonzheng/Pluralistic-Inpaintinggithub.com
15. IJCAI 2019的MUSICAL: Multi-Scale Image Contextual Attention Learning for Inpainting，武汉大学杜博老师组的工作（注：第一作者为我校计院的一名本科生...广大CV狗瑟瑟发抖!）。引入一个多尺度的上下文注意力模块，避免信息滥用/误用导致的纹理模糊等问题,损失函数部分联合了风格损失、感知损失、对抗损失，来保证补绘内容的一致性和清晰水平。
武汉大学地学智能感知与机器学习研究组sigma.whu.edu.cn
16. ArXiv 2019的Coherent Semantic Attention for Image Inpainting，论文作者为@Kuma , 文中提出了一个全新的Attention模块，该模块不仅有效的利用了上下文信息同时能够捕捉到生成补丁之间的相关性。同时提出了一个新的损失函数配合模块的工作，最后利用一个新的特征感知辨别器对细节效果进行加强，代码过段时间会公开。
Coherent Semantic Attention for Image Inpaintingarxiv.org
KumapowerLIU - Overviewgithub.com
参考链接：
1.https://www.zhihu.com/question/56801298
2.https://blog.csdn.net/muyiyushan/article/details/79093806
基于深度学习的Image Inpainting (图像修复)论文推荐(持续更新)相关推荐
- 红外小目标：基于深度学习的红外小目标检测研究方法(持续更新中)
深度学习红外小目标研究现状_2021.7.6更新 2019年 TBC-Net(TBC-Net: A real-time detector for infrared small target detec ...
- 基于深度学习的多聚焦图像融合(Multi-Focus Image Fusion)论文及代码整理
基于深度学习的多聚焦图像融合(Multi-Focus Image Fusion)论文及代码整理 首先附上近期整理基于深度学习的图像融合论文的思维导图 本篇博客主要整理基于深度学习的多曝光图像融合的论文 ...
- 基于深度学习的多曝光图像融合(Multi-exposure Image Fusion)论文及代码整理
基于深度学习的多曝光图像融合(Multi-exposure Image Fusion)论文及代码整理 首先附上近期整理基于深度学习的图像融合论文的思维导图 本篇博客主要整理基于深度学习的多曝光图像融合 ...
- 基于深度学习的x射线图像骨龄自动特征提取
基于深度学习的x射线图像骨龄自动特征提取 Automatic Feature Extraction in X-ray Image Based on Deep Learning Approach for ...
- 【毕业设计_课程设计】基于深度学习的甲状腺超声图像良恶性诊断算法研究
文章目录 0 项目说明 1 引言 1. 1 甲状腺超声图像自动良恶性诊断及其意义 1.2 深度学习在甲状腺超声图像良恶性诊断中的应用 2 理论部分 2.1 数据集 2.2 工作站环境 2.3 预处理 ...
- 目标检测YOLO实战应用案例100讲-基于深度学习的无人机航拍图像目标检测算法研究与应用
目录 基于深度学习的无人机航拍图像目标检测算法研究与应用 基于深度学习的目标检测相关知识理论
- 基于深度学习的高分辨率遥感图像目标检测技术目前的研究现状
参考 基于深度学习的高分辨率遥感图像目标检测技术目前的研究现状 - 云+社区 - 腾讯云 目录 一.概述 二.通用目标检测方法 1.类不平衡问题 2.复杂背景 3.目标的尺度变化 4.特殊视角 5 ...
- 目标检测YOLO实战应用案例100讲-基于深度学习的光学遥感图像目标检测及价值评估
目录 基于深度学习的光学遥感图像目标检测方法研究 传统的目标检测方法
- 基于深度学习的单目图像深度估计总结
图像深度估计,是目前计算机视觉研究中的经典问题.深度图(Depth Map)表示每个像素在空间中的位置,是一种普遍的三维场景信息表达方式,广泛应用于自动驾驶.三维重建等方面. 基于深度学习的单目图像深 ...
最新文章
- 32位大写 md5 php_编写生成32位大写和小写字符的md5的函数
- python中的for else
- discuz_style_default.xml修改
- 安装phproject之一
- hdu4746(莫比乌斯反演)
- 走进javascript——不起眼的基础，值和分号
- Caffe源码解析1：Blob
- 【计算机组成原理】指令执行过程
- C语言 float、double数据在内存中的存储方式
- 中国港口年鉴（2000-2020年）
- 暴力破解压缩包原理及方法
- Centos6.4忘记密码 单机下修改root密码
- 这算通过审核了么？接下来还有没有什么坑，求大神指点！--酷课堂iOS交流群问答精华整理（201808期）
- 俄罗斯天才少女也选华为，22岁拿下世界编程冠军，同天队友也宣布加盟
- 【Dash搭建可视化网站】项目4： 利用Dash Plotly实现数据图表可视化
- 数据挖掘—逻辑回归分类—信用卡欺诈分析
- 修改ubuntu中ens33的
- JAVA项目实战开发电商项目案例（八）购物车功能开发
- 2022年春招平均薪资曝光，程序员也羡慕了？
- WINE界面与字体美化全攻略，及我的常用WINE程序截图展示