论文阅读——Image Inpainting for Irregular Holes Using Partial Convolutions

2024-05-09 19:47:46

原文链接：

Image Inpainting for Irregular Holes Using Partial Convolutions (ECCV 2018). Liu, G., Reda, F. A., Shih, K. J., Wang, T. C., Tao, A., & Catanzaro, B. [Paper][Project]

本文创新点：提出用部分卷积层（Partial Convolutional Layer）来处理不规则孔洞。

网络结构

部分卷积层（Partial Convolutional Layer）

主要思想就是：只用有效像素进行卷积。

其中，W为卷积滤波器的权重，b对应的偏差，X是当前卷积窗口的特征值，M是二进制编码（1为有效像素，0为缺失区域），1和M具有相同的形状，但所有元素都为1。

在部分卷积之后，更新掩码：

网络主体采用U-Net结构，其中PConv1-8属于编码器，而PConv9-16属于解码器。

损失函数

整个损失包含四个损失：L1损失，感知损失，风格损失和全变差（TV）损失。

L1损失 (per-pixel loss)

为带孔洞的输入图像，M为二进制掩码（0表示孔洞），为网络输出图像，为真实图像，定义每个像素损失为：

其中，为I 中元素的个数，，C、H、W分别为的通道数、高度和宽度。

感知损失

其中，表示最原始的输出图像（非孔洞像素为真实图像的像素），是中的元素数，是给定输入的第 p 个特征图，本文使用VGG-16的pool1、pool2、pool3层计算感知损失。

风格损失

其中，形状为，内积之后得到的Gram矩阵形状为，是第p层归一化因子。

全变差损失（TV）

其中，R是孔洞区域1像素膨胀区域，对R进行平滑惩罚，主要目的是保持图像的光滑性，消除图像复原可能带来的伪影。

总损失

总结

优点：

该方法可以修复任何形状、大小位置或距离图像边界近的孔洞；
该方法还可以用于提高图像的分辨率。

局限性：

无法处理稀疏结构的图像；
对于大面积缺失区域修复，效果不是很好。

论文阅读——Image Inpainting for Irregular Holes Using Partial Convolutions相关推荐

【论文笔记】Image Inpainting for Irregular Holes Using Partial Convolutions
Image Inpainting for Irregular Holes Using Partial Convolutions 论文地址摘要 1. 介绍 2. 相关工作 3. 方法 3.1 部分卷积 ...
论文阅读之《Image Inpainting for Irregular Holes Using Partial Convolutions》
paper:Image Inpainting for Irregular Holes UsingPartial Convolutions 利用部分卷积对不规则孔进行图像修复 Nvidia(英伟达)在计 ...
【论文译文】Image Inpainting for Irregular Holes Using Partial Convolutions
译文仅供参考! 原文是pdf,想下载的话可以戳:http://www.gwylab.com/pdf/nvidia-image-inpainting_chs.pdf
RFA-Net: Residual feature attention network for fine-grained image inpainting 论文阅读笔记
RFA-Net: Residual feature attention network for fine-grained image inpainting 论文阅读笔记摘要尽管大多数使用生成对抗性 ...
《SQUID: Deep Feature In-Painting for Unsupervised Anomaly Detection》论文阅读理解
<SQUID: Deep Feature In-Painting for Unsupervised Anomaly Detection>论文阅读理解领域:用于医学图像的异常检测论文地址 ...
听说读论文也有trick？这篇文章告诉你深度学习论文阅读最佳姿势
2020年的今天,我们的专业是deep learning,但是我们要keep learning,每天早上一睁眼,arxiv每天更新上百篇的论文,著名微博博主@爱可可-爱生活保持也在推送最新的deep ...
PointConv论文阅读笔记
PointConv论文阅读笔记 Abstract 本文发表于CVPR. 其主要内容正如标题,是提出了一个对点云进行卷积的Module,称为PointConv.由于点云的无序性和不规则性,因此应用卷积比 ...
[论文阅读] (07) RAID2020 Cyber Threat Intelligence Modeling Based on Heterogeneous GCN
<娜璋带你读论文>系列主要是督促自己阅读优秀论文及听取学术讲座,并分享给大家,希望您喜欢.由于作者的英文水平和学术能力不高,需要不断提升,所以还请大家批评指正,非常欢迎大家给我留言评论,学 ...
【论文阅读】7-Discovering Structural Regularity in 3D Geometry
[论文阅读]7-Discovering Structural Regularity in 3D Geometry 1.Input: 2.Processing pipeline 2.1.Transfor ...

最新文章

热门文章