摘要

现有的基于深度学习的图像修复方法在修复区域的边界，容易生成扭曲的结构和模糊的图像。文章提出了一种新的基于深度学习的方法，不仅可以生成新的图像结构，还能够很好地利用周围的图像特征作为参考，从而做出更好的预测。该模型是一个前馈全卷积神经网络，可以处理包含多个缺失区域的图像，且在修复图像的时候，输入的图像大小没有限制。在人脸图像、自然图像、纹理图像等测试集上，都产生了比现在已有的方法更好的效果。
文章地址： Generative Image Inpainting with Contextual Attention

问题的提出

近期基于深度卷积网络和GAN（生成对抗网络）的图像修复方法，其原理都是通过自编码器，结合对抗网络训练的方式，来让生成的图像和存在的图像保持一致性。
这些基于CNN的方法，通常都会在边界生成扭曲的结构和模糊的纹理。作者发现是由于卷积神经网络不能明确复制借用远处空间的某一位的纹理导致的，但是传统的修复方法特别适合这一问题。
举例来说，一个像素点的内容被64个像素点以外的内容影响，至少要使用6层3x3的卷积核才能够有这么大的感受野（receptive filed）。而且由于这个感受野的形状是非常标准且对称的矩形，所以在不规则的一些图像内容上，无法很好地给对应特征分配正确的权值。

方法

作者提出了一个带有内容感知层（contextual attention layer）的前馈生成网络，这个网络的训练分为两个阶段。第一阶段是一个简单的卷积网络，通过不断修复缺失区域来产生损失值reconstruction loss，修复出的是一个比较模糊的结果。第二阶段是内容感知层的训练，其核心思想是：使用已知图像斑块的特征作为卷积核来加工生成出来的斑块，来精细化这个模糊的修复结果。它是这样来设计和实现的：用卷积的方法，来从已知的图像内容中匹配相似的斑块，通过在全通道上做softmax来找出最像待修补区域的斑块，然后使用这个区域的信息做反卷积（deconvolution）从而来重建该修补区域。

粗细网络

文章首先通过复制和改进近期最新的修复模型 Globally and locally consistent image completion来构建其基础的生成图像修复网络，作者引入了粗略到细化的网络结构，其中第一个网络进行初始粗略预测，第二个网络将粗略预测作为输入并预测精确结果。
粗细网络结构如图1。生成网络的输入是一张带有白色mask的图像，以及一个用于表示mask区域的二进制串，输出是一张完整的图像。作者配对（pair）了输入的图像和对应的二进制mask，这样就可以处理任意大小、任意位置、任意形状的mask了。

图1

粗网络（Coarse network）仅仅使用使用重构损失进行训练，而细网络（Refinement network）使用重构损失+两个GAN损失进行训练。精细网络比缺少区域的原始图像拥有更完整的场景，所以它的编码器可以比粗网络学习更好的特征表示。

使用内容感知进行图像修复

卷积神经网络通过一层层的卷积核，很难从远处区域提取图像特征。为了克服这一限制，作者考虑了感知机制（attention mechanism），提出了内容感知层（contextual attention layer）。
内容感知层学习的内容是，从已知图像的某处借鉴特征信息，以此来生成缺失的斑块。具体结构如图2。

图2

匹配和选取
首先在背景区域提取3x3的斑块，作为卷积核。为了匹配前景（即待修复区域）斑块，使用标准化内积来测量，然后用softmax来为每个背景斑块计算权值，最后选取出一个最好的斑块，反卷积出前景区域。对于反卷积过程中的重叠区域（overlapped pixels）取平均值。
2.感知传播
为了保证图像的一致性，作者使用了感知传播。思想是对前景区域做偏移，可能对应的背景区域做相同的偏移，实现方式是使用单位矩阵作为卷积核，从而做到对图像的偏移。
3.合并修复网络
为了将感知模块集成到修复模型中，作者提出了两个平行的编码器，如图3。

图3

下面的那个编码器通过扩张卷积（dilated convolution）来“想象”缺失区域的内容。
上面的那个编码器则专注于提取感兴趣的背景区域。
两个编码器的输出被聚合输入到一个解码器中，反卷积生成出最后的图像。
在图3中，作者使用了颜色来指出最感兴趣的背景区域的相关位置。比如说，白色区域（彩色图的中心）意味着该区域的像素依赖于自己、左下角的粉色、右上角的绿色。对于不同的图像，偏移值也会跟着缩放，以此来更好地标记出感兴趣的区域（interested background patch）。

实验

作者使用包括Places2 ，CelebA人脸，CelebAHQ人脸，DTD纹理和ImageNet 在内的四个数据集进行了模型的评估。对比的模型为 Globally and locally consistent image completion所提出的模型。

图4

Generative Image Inpainting with Contextual Attention相关推荐

CVPR2018: Generative Image Inpainting with Contextual Attention 论文翻译、解读
2019独角兽企业重金招聘Python工程师标准>>> CVPR2018: Generative Image Inpainting with Contextual Attention ...
论文精度 —— 2018 CVPR《Generative Image Inpainting with Contextual Attention》
总述本篇论文采用的baseline不是CE,而是2017 ACM的<lobally and locally consistent image completion>,那篇论文以CE为ba ...
【论文译文】Generative Image Inpainting with Contextual Attention
译文仅供参考! 原文是pdf,想下载的话可以戳:http://www.gwylab.com/pdf/image-inpainting_chs.pdf
论文阅读——CR-Fill: Generative Image Inpainting with Auxiliary Contextual Reconstruction
原文链接:CR-Fill: Generative Image Inpainting With Auxiliary Contextual Reconstruction (ICCV 2021). Yu Z ...
论文阅读——Multi-Scale Image Contextual Attention Learning for Inpainting
原文链接:MUSICAL: Multi-Scale Image Contextual Attention Learning for Inpainting (IJCAI 2019). Wang, N., ...
CR-Fill: Generative Image Inpainting with Auxiliary Contexutal Reconstruction
CR-Fill: Generative Image Inpainting with Auxiliary Contexutal Reconstruction Generative inpainting ...
【论文阅读】Hierarchical Multi-modal Contextual Attention Network for Fake News Detection --- 虚假新闻检测，多模态
本博客系本人阅读该论文后根据自己理解所写,非逐句翻译,欲深入了解该论文,请参阅原文. 论文标题:Hierarchical Multi-modal Contextual Attention Networ ...
【论文阅读】SIGIR 2021：Hierarchical Multi-modal Contextual Attention Network for Fake News Detection
Hierarchical Multi-modal Contextual Attention Network for Fake News Detection 论文来源:SIGIR 2021 论文链接:h ...
Generative Image Inpainting with Adversarial Edge Learning— 环境搭建—详细教程 ——附源码| 【ICCV 2019】
文章目录
【图像修复】----论文阅读笔记《EdgeConnect: Generative Image Inpainting with Adversarial Edge Learning》
文章目录论文链接概述方法实验结果论文链接 github地址:https://github.com/knazeri/edge-connect 论文地址:https://arxiv.org/p ...

Generative Image Inpainting with Contextual Attention

摘要

问题的提出

方法

粗细网络

使用内容感知进行图像修复

实验

Generative Image Inpainting with Contextual Attention相关推荐

最新文章

热门文章