文献阅读笔记--深度学习图像修复方法综述

1、基本信息：
深度学习图像修复方法综述
强振平，何丽波，陈旭，徐丹
2018-10
中国图像图形学报
2、核心内容：
（1）基于深度学习的图像修复理论及其发展现状的综述，所使用的方法是对基于深度学习修复方法提出理论依据并进行分析并且对所涉及的关键技术研究；根据修复网络结构进行分类，分为基于卷积自编码网络结构的图像修复方法、基于生成式对抗网络结构的图像修复方法和基于循环神经网络的图像修复方法，总结了这些图像修复方法的主要特点、所存在的问题、对训练样本的要求以及主要应用邻域及参考代码。所得结果是深度学习网络的设计和训练过程中损失函数的选择是图像修复的重要内容。
（2）相关基础介绍了基于自编码器的生成网络、深度网络的训练、卷积自编码器网络的训练。
（3）基于卷积自编码的图像修复方法：类似于自编码网络，也是一种编码-解码过程的网络。
（4）基于GAN的图像修复方法：具有强大的图像生成能力，GAN网络主要包括一个生成模型G和一个判断模型D。判断模型D本质上是一个分类器，他判断输入的图像是来自数据集的真实图像还是网络创建的假图像。生成模型G主要通过反卷积神经网络将随机输入转化为图像。采用GAN网络实现的图像修复，在训练过程中采用未破损的数据进行GAN网络训练。采用GAN网络的图像修复在低分辨率图像特别是特定类型的图像修复中可取得较好效果，但对高分辨率图像的修复有困难。GAN作为一种具有自监督学习能力的生成网络，可以针对某一特定类型图像的对抗训练使得生成模型G具有生成该类型图像的能力，最成功的应用即生成逼真的人脸图像。
（5）对比：基于GAN结构的图像修复方法与基于自编码结构的图像修复方法具有明显的不同，基于GAN结构的图像修复方法是通过生成器直接生成待修复的图像，输入可以是随机噪声，而基于自编码结构的图像修复方法是通过整个破损图像进行修复区域的生成。
（6）基于RNN的图像修复方法：循环神经网络（RNN）是一种可以提供一系列条件分布共享参数的模型，可以表示输出与之前输入内容的相关性，即“输出”依赖于“输入”和上一个时间点的“记忆”。基于RNN的这种网络结构，谷歌团队在2016年的提出了一种PixelRNN模型0用于图像修复，取得了非常好的修复结果。模型本质上是一种改进了的2维循环神经网络，并利用该模型对大规模自然图像进行建模，捕获图像整个像素分布相关的概率特征，即完成对自然图像的分布进行建模。在修复阶段顺序沿着两个空间维度来预测图像中的像素。

（7）未来的展望：
1）对于图像修复，要在准确地获得图像语义的同时，能够清晰地修复细节，这就要求基于深度学习的图像修复网络除了能够捕获语义成分外，还需要能够合成纹理成分。
2）深度神经网络的损失函数直接关系到修复结果的评价标准，现有方法主要以欧氏距离、对抗损失等作为损失函数的内容，对于特定的对象（如人脸），有基于结构语义的损失函数。
3）训练样本的设计，对于壁画修复、人脸修复等，是期望训练的网络对于某一个特定问题可以取得好的结果，而且壁画由于其自身的特点，颜色种类、纹理细节等都有一定的规律，样本数据量一般更小，因此，需要针对性地设计训练样本。
4）当前直接使用深度神经网络的图像修复主要限于直接用低分辨率图像进行网络训练，而高分辨率图像修复方法相对比较困难

文献阅读笔记--深度学习图像修复方法综述相关推荐

计算机视觉-深度学习图像检测方法梳理
计算机视觉-深度学习图像检测方法梳理由于之后要转方向啦,趁这段时间整理手中硕士研究方向的一些阅读笔记,这是一篇关于计算机视觉的基础知识梳理先搞清一些小知识点首先我们要弄清楚图像分类.目标定位.语 ...
【西安交大】2020年最新深度学习目标检测方法综述
关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! 目标检测的任务是从图像中精确且高效地识别.定位出大量预定义类别的物体实例.随着深度 ...
【技术综述】基于弱监督深度学习的图像分割方法综述
文章首发于微信公众号<有三AI> [技术综述]基于弱监督深度学习的图像分割方法综述本文是基于弱监督的深度学习的图像分割方法的综述,阐述了弱监督方法的原理以及相对于全监督方法的优势,首发 ...
深度学习模型压缩方法综述（二）
深度学习模型压缩方法综述(一) 深度学习模型压缩方法综述(二) 深度学习模型压缩方法综述(三) 前言上一章,将基于核的稀疏化方法的模型压缩方法进行了介绍,提出了几篇值得大家去学习的论文,本章,将继续 ...
【每周CV论文】初学深度学习图像修复应该要读的文章
欢迎来到<每周CV论文>.在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的. 图像修复(image inpainting)或补 ...
「技术综述」基于弱监督深度学习的图像分割方法综述
https://www.toutiao.com/a6713527528251720200/ 本文是基于弱监督的深度学习的图像分割方法的综述,阐述了弱监督方法的原理以及相对于全监督方法的优势. 作者 | ...
【技术综述】基于弱监督深度学习的图像分割方法综述
本文是基于弱监督的深度学习的图像分割方法的综述,阐述了弱监督方法的原理以及相对于全监督方法的优势. 作者 | 孙叔桥编辑 | 言有三 1 基础概念生活中,我们和周围的事物都是有"标签&q ...
深度学习目标检测方法综述
参考:https://blog.csdn.net/Standing_On_Giant/article/details/60333329 参考:https://blog.csdn.net/xiaohu2 ...
论文笔记 | 深度学习图像数据增广方法研究
1 背景在许多领域,受限于数据获取难度大,标注成本高等原因,往往难以获得充足的训练数据,这样训练得到的深度学习模型往往存在过拟合的问题,进而导致模型泛化能力差,测试精度不高等. 数据扩充的作用:扩大 ...

文献阅读笔记--深度学习图像修复方法综述

文献阅读笔记--深度学习图像修复方法综述相关推荐

最新文章

热门文章