论文阅读——CR-Fill: Generative Image Inpainting with Auxiliary Contextual Reconstruction
原文链接：CR-Fill: Generative Image Inpainting With Auxiliary Contextual Reconstruction (ICCV 2021). Yu Zeng, Zhe Lin, Huchuan Lu, Vishal M. Patel [Paper] [Code]
本文创新点：提出了一个辅助上下文重建任务（训练CR loss），训练网络学习已知区域和缺失区域之间patch的相似性。
网络结构
网络与《Free-Form Image Inpainting with Gated Convolution》结构相似，只是删除了Contextual Attention（CA）层，并引入了reconstruction loss（CR）损失。CA层只能找出最相似的patch，但没有直接的监督信号，无法保证语义一致。
Contextual reconstruction loss
训练系统由一个相似性编码器和一个辅助自编码器网络组成。
相似度编码器将生成器特征作为输入，并对图像区域之间的相似度进行编码。辅助编码器解码器网络生成辅助图像，其中已知区域不变，而缺失区域根据相似性编码器提供的相似性填充相似的已知区域。
相似度编码器计算所有patch之间的相似度
辅助编码器解码器网络生成辅助图像，其中已知区域不变，而缺失区域根据相似性，用已知区域中patch的加权和替换。
其中，为替换后的特征，为patch 经过辅助编码器后的特征，代表已知区域。
然后将替换后的特征图输入到解码器，得到辅助图像。
其中，为进行patch替换后的特征图，为辅助解码器。
CR 损失被定义为辅助图像的修复损失（即 L1 和对抗性损失）。通过最小化 CR 损失，鼓励生成器特征接近最小修复损失的已知图像特征。
论文阅读——CR-Fill: Generative Image Inpainting with Auxiliary Contextual Reconstruction相关推荐
- CR-Fill: Generative Image Inpainting with Auxiliary Contexutal Reconstruction
CR-Fill: Generative Image Inpainting with Auxiliary Contexutal Reconstruction Generative inpainting ...
- 论文阅读：Can Generative Pre-trained Language Models Serve As Knowledge Bases for Closed-book QA
论文阅读:Can Generative Pre-trained Language Models Serve As Knowledge Bases for Closed-book QA 来源:ACL 2 ...
- 论文阅读——WaveNet: A Generative Model for Raw Audio
论文阅读--WaveNet: A Generative Model for Raw Audio 1.文献名称:wavenet 2.期刊会议:由Google旗下的Deepmind团队推出 3.影响因子: ...
- 论文阅读 - Jukebox: A Generative Model for Music
文章目录 1 概述 2 什么是VQ-VAE 2.1 Auto-encoder(AE) 2.2 Variational AutoEncoder(VAE) 2.3 Vector-Quantized Var ...
- 论文阅读 An Information Gain Formulation for Active Volumetric 3D Reconstruction
这是一篇讲基于3D重建这个场景,如何更好地计算information gain的 好像是2016ICRA 也是uzh实验室的 An Information Gain Formulation for A ...
- Learning Span-Level Interactions for Aspect Sentiment Triplet Extraction 论文阅读 ACL2021
目录 摘要 针对问题: 解决方法: 2 Span-based ASTE 2.1 Task Formulation 2.2 Model Architecture 2.2.1 Sentence Encod ...
- 《SQUID: Deep Feature In-Painting for Unsupervised Anomaly Detection》论文阅读理解
<SQUID: Deep Feature In-Painting for Unsupervised Anomaly Detection>论文阅读理解 领域:用于医学图像的异常检测 论文地址 ...
- CVPR2018: Generative Image Inpainting with Contextual Attention 论文翻译、解读
2019独角兽企业重金招聘Python工程师标准>>> CVPR2018: Generative Image Inpainting with Contextual Attention ...
- 论文阅读 [TPAMI-2022] DE-GAN: A Conditional Generative Adversarial Network for Document Enhancement
论文阅读 [TPAMI-2022] DE-GAN: A Conditional Generative Adversarial Network for Document Enhancement 论文搜索 ...
最新文章
- String类的学习
- 外文翻译 《How we decide》赛场上的四分卫
- 题目1049：字符串去特定字符
- 用Windows Server实现软件定义存储之存储空间直连
- 使用phantomjs操作DOM并对页面进行截图需要注意的几个问题
- .NET 6 中 gRPC 的新功能
- python gevent缺点_python 协程 greenlet gevent
- 一些实用的方法整理（与语言无关）
- Custom Corporate Background for NetBeans Platform Applications
- python实现多智能体一致性_多智能体深度学习算法MADDPG的PARL实践
- yuicompressor java_YUI Compressor使用配置方法 JS/CSS压缩工具
- 代理模式-CGLIB动态代理
- 上海市高等学校信息技术水平二三级python 模拟题 编程
- 支持APP的打印服务器,TP-LINK双频无线路由器打印服务器客户端软件
- 最长递增子序列（Longest Increasing Subsequence）
- 微信相关开发问题收集
- TweenMax介绍
- 谢孟媛老师 中级文法学习笔记
- Linux访问外网，有图和命令，简单易懂
- 数据分析综述：一文带你详细了解自动驾驶技术