Introduction

本文认为图像修复实际上是一个图像恢复问题，而不是一个纯粹的图像生成任务。后者只关心生成的图像是真实的还是自然的，而前者要求恢复的区域与真实区域相同。这种差异使得最先进的基于生成网络的方法对于图像修复任务不太完美，因为它们可能修复真实但不太可信的结果。RFRNet会产生扭曲的局部结构(见图1)。此外，一些真实世界的应用，例如壁画修复[42]，主要集中在恢复保真度而不是自然度。然而，基于生成网络的方法(例如，structure flow)显著地修改了未修复的像素(参见图1中的右子图)，尽管它也导致看起来自然的修复结果。

深度预测滤波方法已经展示了其在各种恢复任务上的有效性，例如去噪[，降额和阴影去除。关键思想是通过深度CNN生成像素核，然后在相邻像素的支持下，使用这些核来指导每个像素的重建。预测滤波的主要优点是尊重输入的主要信息，满足图像修复的高保真要求。然而，从无到有或者附近没有足够的像素来提取信息来生成缺失的像素是不够的。到目前为止，深度预测滤波用于图像修复的任务还没有被探索过。
在本文中，第一次将两者的优点结合起来，将图像修复表述为两个问题的混合，即预测滤波和深度生成。预测滤波擅长保留局部结构和去除伪影，但不足以完成大的缺失区域。如上所述，深度生成网络可以基于对整个场景的理解来填充大量缺失的像素，但很难恢复与原始像素相同的细节。为了利用它们各自的优势，我们提出了联合预测滤波和生成网络，它包含三个分支:预测滤波和不确定网络、深度生成网络和不确定感知融合网络。该方法可以根据输入图像自适应预测像素核进行滤波修复，并输出不确定性图。该图表明像素应该通过过滤或生成网络进行处理，该网络被进一步馈送到UAFNet，以实现过滤和生成结果之间的智能组合。请注意，我们的方法作为图像修复问题的一个新框架，可以受益于任何现有的基于生成的方法。

深度生成网络，即RFRNet和structure flow，可能会改变局部结构或像素强度，使修复图像显示出明显的差异。在这项工作中，我们首次将图像修复表述为两个任务的混合，即预测滤波和深度生成。通过利用它们各自的优势，我们的方法不仅可以恢复局部结构，而且可以自然地填充所有缺失的部分。

Motivation

Predictive Filtering for Image Inpainting

预测滤波是一种先进的图像滤波技术，结合了经典图像滤波和深度学习的优点，并已在各种任务中得到验证，例如图像去噪、阴影去除和模糊。它的基本管道是用深度卷积神经网络(CNN)预测的像素核过滤图像。请注意，据我们所知，这是将图像修复表述为预测滤波问题的第一次尝试。

p和q代表像素坐标，Np表示p的相邻像素，Kp是像素p的专属内核，其内核大小为K*K。Kp(q-p)确定像素q上的组合权重。不同于传统的对所有像素使用固定核的图像滤波方法(例如，sobel)，预测滤波采用深度神经网络根据输入自适应地预测像素核:

预测滤波方法能够精确地填充小区域，但是不能预测大的缺失块。这是合理的，因为滤波是根据其邻居重建丢失的像素，而大的丢失块应该通过理解整个场景的能力来填充。

Generative Network for Image Inpainting

JPGNet: Joint Predictive Filtering and Generative Network for Image Inpainting相关推荐

Joint Bilateral Filtering 双边滤波
标签: bilateralfiltering 双边滤波双边滤波是以高斯滤波为基础,引入色度差异后的改进.滤波器卷积窗加权权值同时考虑了空间和色度的二维特征差异. wiki: http://z ...
A Deep Generative Network for Computer-Aided Design Models 阅读笔记
这一小段节选自这篇论文的introduction,是比较少见的在计算机科研论文中,使用了一定的修辞手法去表达的论文,因此记录一下:-) Task 以序列化的方式,生成CAD三维模型. 问题在做CAD ...
计算机视觉论文-2021-07-12
本专栏是计算机视觉方向论文收集积累,时间:2021年7月12日,来源:paper digest 欢迎关注原创公众号 [计算机视觉联盟],回复 [西瓜书手推笔记] 可获取我的机器学习纯手推笔记! 直达笔 ...
【论文翻译】中英对照翻译--（Attentive Generative Adversarial Network for Raindrop Removal from A Single Image）
[开始时间]2018.10.08 [完成时间]2018.10.09 [论文翻译]Attentive GAN论文中英对照翻译--(Attentive Generative Adversarial Net ...
Yet Another Text Captcha Solver: A Generative Adversarial Network Based Approach
目的 Identification text verification code 摘要 Despite several attacks have been proposed, text-based C ...
阅读笔记 CCL: Cross-modal Correlation Learning with Multi-grained Fusion by Hierarchical Network
总结 CCL: Cross-modal Correlation Learning with Multi-grained Fusion by Hierarchical Network Yuxin Pen ...
AttnGAN: Fine-Grained Text to Image Generation with Attentional Generative Adversarial Networks论文解读
题目:AttnGAN:具有注意的生成对抗网络的细粒度文本到图像生成时间:2018 作者:Tao Xu, Pengchuan Zhang, Qiuyuan Huang, Han Zhang, Zhe ...
SinGAN: Learning a Generative Model from a Single Natural Image
Abstract(摘要) We introduce SinGAN, an unconditional generative model that can be learned from a singl ...
（转）The Neural Network Zoo
转自:http://www.asimovinstitute.org/neural-network-zoo/ THE NEURAL NETWORK ZOO POSTED ON SEPTEMBER 14, ...

JPGNet: Joint Predictive Filtering and Generative Network for Image Inpainting

JPGNet: Joint Predictive Filtering and Generative Network for Image Inpainting：ACM MM 2021

Introduction

Motivation

Predictive Filtering for Image Inpainting

Generative Network for Image Inpainting

JPGNet: Joint Predictive Filtering and Generative Network for Image Inpainting相关推荐

最新文章

热门文章