原文链接：MUSICAL: Multi-Scale Image Contextual Attention Learning for Inpainting (IJCAI 2019). Wang, N., Li, J., Zhang, L., & Du, B. [Paper]

本文创新点：

提出了一种多尺度注意力模块，通过合并不同大小patch的注意力模块产生的特征图，捕捉多个尺度的信息。

网络结构

网络整体以U-Net为基础，一次性修复图像。

Multi-scale Attention Module

本文采用两种不同大小的patch（3*3,1*1）来计算注意力分数。

首先计算缺失区域（foreground）和已知区域（background）的余弦相似度，

其次，通过softmax层得到注意力分数s* ；

然后，进行注意力传播；

最后，用反卷积操作得到重构特征图、，再将、与进行拼接。

为了确定当前图像中哪个层次的细节是最重要的，将拼接后的特征图输入到squeeze-and-excitation（SE）模块。最后，用像素卷积将特征图压缩到和输入相同的尺寸。

SE模块首先要计算特征图的平均池化值，然后利用全连接网络计算各个通道的权重。

整个模块可以用下式表示

损失函数

感知损失

利用VGG16的pool1, pool2 和 pool3计算感知损失

风格损失

总体损失

论文阅读——Multi-Scale Image Contextual Attention Learning for Inpainting相关推荐

【论文阅读】Hierarchical Multi-modal Contextual Attention Network for Fake News Detection --- 虚假新闻检测，多模态
本博客系本人阅读该论文后根据自己理解所写,非逐句翻译,欲深入了解该论文,请参阅原文. 论文标题:Hierarchical Multi-modal Contextual Attention Networ ...
论文阅读笔记（2）：Learning a Self-Expressive Network for Subspace Clustering，SENet，用于大规模子空间聚类的自表达网络
论文阅读笔记(2):Learning a Self-Expressive Network for Subspace Clustering. SENet--用于大规模子空间聚类的自表达网络前言摘要 ...
论文阅读——FPGA based Accelerators of Deep Learning Networks for Learning and Classification:A Review
论文阅读之FPGA硬件加速Review FPGA-based Accelerators of Deep Learning Networks for Learning and Classificatio ...
【论文阅读】MFAN: Multi-modal Feature-enhanced Attention Networks for Rumor Detection --- 多模态，谣言检测，注意力机制
本博客系博主根据个人理解所写,非逐字逐句翻译,预知详情,请参阅论文原文. 论文标题:MFAN: Multi-modal Feature-enhanced Attention Networks for ...
[论文阅读] Large Scale Incremental Learning
论文地址:https://openaccess.thecvf.com/content_CVPR_2019/html/Wu_Large_Scale_Incremental_Learning_CVPR_2 ...
论文阅读笔记（11）--- Attention is all you need（Transformer）逐段精读
根据李沐读论文学习一下这篇论文. Transformer Introduction Background Model Architecture Encoder and Decoder Stacks A ...
论文阅读：DRN: A Deep Reinforcement Learning Framework for News Recommendation
文章目录摘要一.Introduction 1.引入原因 2.结构框架二.相关工作 1.新闻推荐算法 2.推荐中的强化学习 3.问题定义三.实现原理 1.模型框架 2.特征构造 3.深度强化推荐 ...
【论文阅读】Answering while Summarizing Multi-task Learning for Multi-hop QA with Evidence Extraction
Answering while Summarizing: Multi-task Learning for Multi-hop QA with Evidence Extraction 论文:https: ...
论文阅读：A Survey on Deep Learning for Named Entity Recognition
这是一篇2020年发的命名实体识别的综述性论文,从NER的语料库,定义,评估指标,到深度学习中的NER的技术都有涉及到. A Survey on Deep Learning for Named Ent ...

论文阅读——Multi-Scale Image Contextual Attention Learning for Inpainting

网络结构

Multi-scale Attention Module

损失函数

论文阅读——Multi-Scale Image Contextual Attention Learning for Inpainting相关推荐

最新文章

热门文章