Attention-Guided Hierarchical Structure Aggregation for Image Matting
Attention-Guided Hierarchical Structure Aggregation for Image Matting
Abstract
- 现有的基于深度学习的抠图算法主要依靠高级语义特征来改善alpha
mattes的整体结构，作者认为应该将高级语义信息与低级外观线索相协调，以细化前景细节 - 提出一种端到端的分层注意力抠图网络(HAttMatting)，它可以在没有额外输入的情况下从单个RGB图像中预测更好的alpha mattes结构
- 具体来说，作者利用空间和通道方向的注意力，以一种新颖的方式整合外观线索和金字塔特征。这种混合注意机制可以从精细的边界和适应性语义中感知alpha mattes
- 作者引入了融合结构相似性(SSIM)、均方误差(均方误差)和对抗损失的混合损失函数，以指导网络进一步改善整体前景结构
- 构建了由59600个训练图像和1000个测试图像(总共646个不同的 foreground alpha mattes)组成的大规模图像抠图数据
Introduction
图像抠图是指从输入图像中精确估计前景不透明度
本文综合探讨了高级语义和外观线索，并提出了一个端到端的分层注意力抠图网络(HAttMatting)来实现这种分层结构聚合。高级语义可以提供前景类别和轮廓，而外观提示提供纹理和边界细节。为了深入整合这种层次结构，作者在高级语义上执行通道方向的注意，以选择适合抠图的特征，并在外观线索上使用空间注意来过滤图像纹理细节，最后聚合它们来预测alpha mattes
Related Work
传统抠图
- 主要是通过额外的输入来实现FG的不透明性:三分图或涂鸦（trimaps or scribbles）
- 当FG和BG共享相似的颜色时，传统的方法通常会产生明显的伪像
深度学习抠图
- 大多抠图网络都依赖于trimap来增强它们的语义提取，而生成trimap对于普通用户来说是困难的。一些抠图框架利用分割来生成trimap，这通常会导致FG轮廓或边界不完整
Methodology
Overview
- 在本文中，作者认为高级语义和外观线索在组合之前需要适当的处理。首先，自然图像抠图应该处理不同类型的FG对象，这表明应该提取高级语义来处理FG信息，并适当地抑制它们以降低它们对对象类的敏感性。第二，外观提示涉及不必要的BG细节，需要在alpha mattes中擦除。
- 为此，作者采用通道式注意提取空洞空间金字塔池化(ASPP) [4]中提取的高级语义，同时对外观线索进行空间注意操作（spatial attentio）以消除FG之外的图像纹理细节。
Network Architecture
Loss Function
adversarial loss (Ladv) ； Structural SIMilarity loss (LSSIM)
Experiments
- The first dataset is the public Adobe Composition-1k. The training set consists of 431 FG objects with the corresponding ground truth alpha mattes.Each FG image is combined with 100 BG images from MS COCO dataset to composite the input images. For test set, the Composition-1k contains 50 FG images as well as the corresponding alpha mattes, and 1000 BG images from PASCAL VOC2012 dataset. The training and test sets were synthesized through the algorithm provided by .
Conclusions and Future work
作者提出了一个分层的注意力抠图网络(HAttMatting)，它可以从单个RGB图像中预测高质量的alpha mattes。HAttMatting使用通道方向的注意力来提取适合抠图的语义，并执行空间注意力来过滤外观线索。
在未来，我们将探索更有效的策略来改善我们的注意机制，我们相信这可以更有效地聚合高级语义和外观线索，从而进一步提高我们网络的通用性和健壮性。
Attention-Guided Hierarchical Structure Aggregation for Image Matting相关推荐
- 二维码提升对比度文献调研(4)--Attention Guided Low-light Image Enhancement
简介 (1)论文2: Attention Guided Low-light Image Enhancement with a Large Scale Low-light Simulation Data ...
- Attention 与Hierarchical Attention Networks 原理
Attention 与Hierarchical Attention Networks 1. Attention 注意力机制 1.1 什么是Attention? 1.2 加入Attention的动机 1 ...
- 【论文简述及翻译】StereoNet: Guided Hierarchical Refinement for Real-Time Edge-Aware Depth Prediction（ECCV）
一.论文简述 1. 第一作者:Sameh Khamis 2. 发表年份:2018 3. 发表期刊:ECCV 4. 关键词:立体匹配.深度估计.边缘感知改进.代价体滤波.深度学习 5. 探索动机:目前基 ...
- 论文阅读——AG-Net：Attention Guided Network for Retinal Image Segmentation
AG-Net:Attention Guided Network for Retinal Image Segmentation AG-Net:注意力引导网络用于视网膜图像分割 from MICCAI2 ...
- 《HOP-Matting：Hierarchical Opacity Propagation for Image Matting》论文笔记
参考代码:HOP-Matting 1. 概述 导读:现有的一些深度学习的matting方法是基于propagation的,这篇文章对此提出了多层次不透明度propagation(hierarchica ...
- FSA-Net: Learning Fine-Grained Structure Aggregation for Head Pose Estimation from a Single Image
本文来源于2019A类会议CVPR的论文FSA-Net,对其中一部分进行翻译 摘要: 本文提出了一种基于单个图像的头部姿态估计方法.以往的方法往往是通过landmark或depth估计来预测头部姿态, ...
- 暗光增强论文Attention Guided Low-light Image Enhancement with a Large Scale Low-light Simulation Dataset翻译
Abstract 低光图像增强是一个挑战,因为它不仅需要考虑亮度恢复,还需要考虑复杂的问题,如颜色失真和噪声通常隐藏在黑暗中.简单地调整低光图像的亮度将不可避免地放大这些噪声.针对这一难题,本文提出了 ...
- Scale-Adaptive Neural Dense Features: Learning via Hierarchical Context Aggregation
这篇文章主要讲给你一张图片, 怎样得到该图片中每个像素全局或者局部的feature, 输入是HxWx3, 输出是HxWxn, n为feature的维数 对于Table1来说, G,L, n就是3, 而 ...
- TransRHS: A Representation Learning Method for Knowledge Graphs with Relation Hierarchical Structure
研究问题 在学习知识图谱上的嵌入时对关系的层次结构(RHS)进行建模,训练一个向量和一个球(sphere),用向量差和球的相对位置关系表示关系的层级结构. 背景动机 之前基于聚类的方法由于固定了层数, ...
最新文章
- 【Android开发】：在任意目录执行NDK编译
- Opencv java模板匹配-角点检测（11）
- 使用c#訪问Access数据库时，提示找不到可安装的 ISAM
- 全球及中国PMN-PT单晶行业发展模式及未来产销前景预测报告2022-2028年版
- 《C champion》C语言发展
- 基于 Kong 和 Kubernetes 的 WebApi 多版本解决方案
- html 页面重复度高,哪些情况容易造成重复页面
- 键盘keydown值表
- 推荐系统遇上深度学习(八)--AFM模型理论和实践
- linux学习查看系统资源和磁盘分区
- 微型计算机系统的主存储器,微型计算机系统中 ,操作系统保存在硬盘上,其主存储器应该采用 ( )...
- 一分钟了解微服务的好处和陷阱
- Python 学习笔记---爬取海贼王动漫
- 高中 信息科技 计算机网络 课件,高中信息技术计算机网络.ppt课件.ppt.ppt
- windows环境下布置定时任务
- Liang-Barsky算法思想及简单cpp实现
- 使用 Anaconda 安装 Pytorch
- nativefier(一行代码将任意网页转化为桌面应用)
- 如何解决Excel文档已损坏呢？
- Adobe XMP SDK项目应用（续1）