论文阅读《Contextual-based Image Inpainting: Infer, Match, and Translate》
介绍
从采样噪声生成照片般逼真的图像或在其他输入（例如图像，文本或标签）上进行调节的问题已经得到了大量的研究。但是现在生成高分辨率图像仍然是一项艰巨的任务。这主要是因为对像素的分布进行建模是困难的，并且当维度变高的时，训练的模型容易引入模糊的分量和伪像。已经有几个方法，通常是通过利用多规模训练或者包含先验信息。
图像修复的任务可以概括为：给定一个不完整的图像作为输入，我们如何用语义和视觉上的合理的内容填充缺失的部分。Context-encoder是最早提出来应用于深度学习进行图像修复的，虽然它使用重建损失和对抗性损失将不完整的图像映射到完整的图像，尽管对抗性损失显著提高了修复质量，但是结构依然很模糊。并且它无法输入512X512的，也就是无法推广到高分辨率。
作者的方法类似于{9}，将修复过程分为两个阶段：推理和翻译。在推理阶段，我们训练一个image2feature网络，用粗略预测初始化洞并提取它的特征。预测是模糊的，但在洞中包含高级结构信息。在翻译阶段，我们训练了Feature2image网络，将该特征转换回完整的图像。它可以细化孔中的内容并输出具有清晰逼真纹理的完整图像。这个结构和{9}不一样的地方在于，它不依赖于优化，而是将纹理细化建模为学习问题。两个网络都可以进行端到端的训练，并且经过训练模型，推理可以在单个正向传递中完成，这比迭代优化快的多。
为了减轻Feature2image网络的难度，我们设计了一个“补丁交换”层，用于将高频纹理细节从边界传播到孔。补丁交换层将特征映射作为输入，并将孔内的每个神经补丁替换为边界上最相似的补丁。然后，我们使用新的要素作为Feature2image网络的输入，通过在边界上重新使用神经贴片，特征贴图包含足够的细节，使得高分辨率图像重建成为可能。最高的分辨率是512X512，暂时没有到1024X1024。。。
所以贡献有三个：
1）设计了一种基于学习的修复戏台，能够在高分辨率图像中合成具有高质量内容和纹理的缺失部分。
2）提出了一种新颖强大的训练方案，解决了特征操纵问题并避免了不何止。
3）训练好的模型可以达到与现有技术相媲美的性能，并可以推广到其他任务，如风格转移。
## 方法
一. 问题描述
我们将图像修复的任务形式化如下：假设给出一个不完整的输入图像Io，其中分别代表缺失区域（孔）和已知区域（边界）。我们想填补R具有合理的内容IR并将其与I0作为新的完整图像I。
二. 系统总览
分为三个步骤
1）推断：使用image2feature网络以粗略内容填充不完整图像作为推断，并从修复图像中提取特征图。
2）匹配：我们在特征图上使用补丁交换来匹配从高分辨率边界到具有粗略推理的孔的神经补丁。
3）翻译：我们使用Faeture2image网络转换成完整的图像。
训练
一.推理
mage2Feature的目标网络是用粗略预测来填补空洞。在训练期间Image2Feature翻译网络的输入是256x256x3不完整图像I0，输出是大小为64x64x256的特征映射F1。该网络由一个基于FCN的模块G1，由下采样前端，中间残差块和上采样后端组成。 G1之后是19层VGG网络的初始层[34]。这里我们使用过滤金字塔VGG网络作为类似于[28]的图像的更高级别表示。首先，给出I0作为G1的输入，其产生大小的粗略预测I1R为128×128。然后将I1R嵌入R中，形成完整的图像I1，再次通过VGG19网络将relu3_1激活作为F1。 F 1大小为64x64x256。我们还使用额外的PatchGAN鉴别器D 1来实现促进对抗性训练，将一对图像作为输入和输出真/假概率的向量。
对于G 1，下采样前端由三个卷积层组成，并且每个层具有步幅2.中间部分具有堆叠的9个残差块一起。上采样后端与前端相反，由后端组成
用步幅2进行三次转置卷积。遵循每个卷积层通过批量标准化[？]和ReLu激活，除了最后一层输出图像。我们还在所有残余块中使用扩张卷积。类似
在[35]中用于图像合成和[1]用于修复，与[35]不同，我们使用扩张层来增加感受野的大小，与[1]相比，我们的感受野也更大，因为我们有更多的下采样块和残差块中更多的扩张层。
在训练期间，整体损失函数定义为：
第一个损失是感知损失：
其中的MF是加权掩膜，产生仅在特征图的孔上计算的损耗。我们还为孔和边界之间的重叠像素分配更高的权重，来确保复合是连贯的，VGG19网络的权重从ImageNet预训练模型加载，并且在训练期间固定。
对抗损失为：
我们使用一堆图像作为鉴别器的输入，在对抗训练的设定下，真实对是不完整图像I0和原始图像Igt，而假设对是I0和I1，为了对齐每个损失的绝对值，我们分别设置权重和使用Adam优化器进行训练。生成器和判别器的学习率分别设置为2e-3,2e-4，动量？？设置为0.5，此处不知道什么是动量。。。
二.匹配
补丁交换是一种转换的操作，将F1转换成新的特征映射F1’。 这个想法是预测I1R模糊，缺乏 许多高频细节。 直观地说，我们想衍生从I1R̄～到I1R的纹理，但仍然保留了高级信息。 我们不是直接在II1上操作，而是使用F1作为纹理衍生的替代传播。 类似地，我们使用r和r̄～来表示F 1上的区域对应
I 1上的R和R̄~ 对于F 1重叠的每个3×3神经贴片p i（i = 1,2，…N)
使用r，我们在r̄中找到最接近匹配的神经补丁，基于以下内容
互相关指标：
假设pi的最接近匹配的贴片是qi，然后我们用qi代替pi。在r中的每个补丁与其中最相似的补丁交换之后，重叠补丁被平均并且输出是新的特征映射F1’，图三说明了过程：
三.翻译
Feature2Image网络的目标是学习从交换的特征映射到完整和清晰图像的映射。除了隐藏层的数量不同之外，它具有类似的U-Net的生成器G2类似于G1。 G 2的输入是大小为64x64x256的特征映射。该发生器具有七个卷积块和八个反卷积块，并且前六个反卷积层使用跳过连接与卷积层连接。输出是完整的256x256x3图像。它还包括基于Patch-GAN的鉴别器D2。然而，与将一对图像作为输入的Image2Feature网络不同，D2的输入是一对图像和特征图。
一个简单的训练范例是使用Image2Feature网络F1的输出作为补丁交换层的输入，然后使用交换的特征F1‘ 来训练Feature2Image模型。以这种方式，特征图从粗略预测I1导出，并且整个系统可以端对端地训练。然而，在实践中，我们发现这导致质量差的重建I，具有显着的噪声和伪影（第4节）。我们进一步观察到，使用基础事实作为训练输入可以显着提高视觉质量。也就是说，我们使用特征映射F gt = vgg（I gt）作为补丁层的输入，
然后使用交换特征F’gt = patch_swap（Fgt）来训练Feature2Image模型。由于I gt在测试时无法访问，我们仍然使用F’1 = patch_swap（F1）作为推断的输入。请注意，现在功能2图像模型使用不同类型的输入进行训练和测试，这不是训练机器学习模型的常规做法。在这里，我们为这种现象提供了一些直觉。基本上通过训练Feature2Image网络，我们正在学习从特征空间到图像空间的映射。由于F1是Image2Feature网络的输出，因此它固有地包含大量噪声和模糊性。因此
由F1 ‘组成的特征空间具有比特征F’gt组成高的特征空间维数高的多。
结果是该模型很容易低于F1’，因此很难学习良好的映射。或者，通过使用F‘gt，我们选择a
干净，紧凑的特征子集，使得映射空间小得多，使其更容易学习。我们的实验也表明该模型训练在测试时，地面实况很好地推广到噪声输入F1’ 。与[40]相似，我们
通过从基础事实和实证中抽样，可以进一步提高稳健性
Image2特征预测。
feature2image的转换网络的总体损失定义为：
多尺度推理：
论文阅读《Contextual-based Image Inpainting: Infer, Match, and Translate》相关推荐
- 《基于卷积神经网络的深度迁移学习，用于燃气轮机燃烧室的故障检测》论文阅读
目录 突出 抽象 引言 1.1动机 1.2文献综述获得的结论 1.3贡献 1.4组织 2方法 2.1燃汽轮机组故障知识共享 2.2迁移学习 2.3 基于卷积神经网络的深度迁移学习 2.4用于燃气轮机燃 ...
- 基于卷积神经网络和投票机制的三维模型分类与检索 2019 论文笔记
作者:白静 计算机辅助设计与图形学学报 1.解决的问题 由于三维模型投影得到的视图是由不同视点得到,具有相对独立性,这种像素级的融合运算并没有直接的物理或者几何意义,更有可能造成图像有益信息淹没和混淆 ...
- TextCNN——基于卷积神经网络的文本分类学习
1.CNN基础内容 CNN的全称是Convolutional Neural Network,是一种前馈神经网络.由一个或多个卷积层.池化层以及顶部的全连接层组成,在图像处理领域表现出色. 本文主要学习 ...
- 读懂深度迁移学习，看这文就够了 | 赠书
百度前首席科学家.斯坦福大学副教授吴恩达(Andrew Ng)曾经说过:迁移学习将是继监督学习之后的下一个促使机器学习成功商业化的驱动力. 本文选自<深度学习500问:AI工程师面试宝典> ...
- 一种基于卷积神经网络的图像去雾研究-含matlab代码
目录 一.绪论 二.去雾卷积网络 2.1 特征提取 2.2 多尺度映射 2.3 局部均值 2.4 非线性回归 三.实验与分析 四.Matlab代码获取 一.绪论 雾是一种常见的大气现象,空气中悬浮的水 ...
- 机械臂论文笔记（一）【基于卷积神经网络的二指机械手 抓取姿态生成研究 】
基于卷积神经网络的二指机械手 抓取姿态生成研究 论文下载 摘要 第1章 绪论 1.1 抓取生成国内外研究现状 1.1.1已知物体抓取生成 1.1.2相似物体抓取生成 1.1.3 未知物体抓取生成 1. ...
- 毕业设计 - 基于卷积神经网络的乳腺癌分类 深度学习 医学图像
文章目录 1 前言 2 前言 3 数据集 3.1 良性样本 3.2 病变样本 4 开发环境 5 代码实现 5.1 实现流程 5.2 部分代码实现 5.2.1 导入库 5.2.2 图像加载 5.2.3 ...
- 基于卷积神经网络与迁移学习的油茶病害图像识别
基于卷积神经网络与迁移学习的油茶病害图像识别 1.研究思路 利用深度卷积神经网络强大的特征学习和特征表达能力来自动学习油茶病害特征,并借助迁移学习方法将AlexNet模型在ImageNet图像数据集上 ...
- Python深度学习实例--基于卷积神经网络的小型数据处理（猫狗分类）
Python深度学习实例--基于卷积神经网络的小型数据处理(猫狗分类) 1.卷积神经网络 1.1卷积神经网络简介 1.2卷积运算 1.3 深度学习与小数据问题的相关性 2.下载数据 2.1下载原始数据 ...
- 基于卷积神经网络实现图片风格的迁移 1
卷积神经网络详解 一.实验介绍 1.1 实验内容 Prisma 是最近很火的一款APP,它能够将一张普通的图像转换成各种艺术风格的图像.本课程基于卷积神经网络,使用Caffe框架,探讨图片风格迁移背后 ...
最新文章
- 何新生—你是哪国人？
- 【功率控制】无线光通信-CDMA中闭环链路的功率控制MATLAB仿真
- CST 使用注意事项【持续更新】
- Linux中的head命令
- C++隐式类类型转换
- websocket binary 数据解析_websocket协议
- java实现视频格式转换
- JPA mappedBy、JoinColumn、FetchType.LAZY和FetchType.EAGER介绍
- SIM900A—发送、接收中英文短信
- 计算机好多个页面,哪些电脑分屏软件好用？好用电脑分屏软件推荐
- DX12之手撸GPU Driven Pipeline
- java 音频 合成_java实现mp3合并的方法
- LeetCode.No5——最长回文子串
- java计算机毕业设计机械生产企业办公设备管理系统MyBatis+系统+LW文档+源码+调试部署
- android 主流机型排行,安卓手机性能排行：华为Mate40 Pro仅排第四，第一名无可撼动...
- vue cli可视化面板运行serve报错：Error: Package exports for ‘D:\*******(路径)\node_modules\colorette‘ do not defi
- 你只管善良，剩下交给时间
- 金碟文件保存在服务器哪里,金蝶软件服务器地址在哪改
- 企业微信搭建私域流量增长运营双管齐下
- 如何下载win10原装镜像