Highly Efficient Natural Image Matting

文章可用（可尝试）创新点

使用OCBlock代替传统卷积
ENA结构（非局部注意、长短注意操作）

提出问题：
使用深度学习进行matting存在两个问题：

依靠用户提供的trimap。
模型尺寸过大。

针对上述问题，提出了一个轻量级的trimap-free网络，该网络使用了两阶段的框架：

trimap生成阶段：分割网络（SN）被设计来捕获足够的语义，并将像素分为未知区域、前景区域和背景区域；内包含跨层融合模块（CFM），使SN可以有效地利用多尺度特征，且计算量较小。
细化阶段：Matting Refine Network（MRN）旨在捕捉详细的纹理信息并回归精确的alpha值。MRN中的有效非局部注意模块（ENA）可以有效地建模不同像素之间的相关性，并帮助回归高质量的α值。

结论：模型参数344k，速度未提及。

注意点：

使用OCBlock
CFM部分使用通道注意力机制（我们直接将底层特征En1-2与高层特征En1-4融合，将高层语义信息传播到底层。由于不同的特征通道在高层响应不同的语义，不区分对待所有通道是不明智的。为了减少不相关语义信息的干扰，我们在En1-4上使用通道注意力，为对matting任务更重要的通道分配更大的权重。通道注意的操作具有较低的时间复杂度。因此，它需要的计算成本可以忽略不计。）
Matting Refine Network（MRN）阶段使用ENA

其中，Q K V表示查询、密钥和值特征，Sim表示查询和密钥特征之间的相似性。

查询特征由编码器/解码器特征与未知区域相乘得到。图像通过OCBlocks来获取key和value特征。我们提出的ENA是一个跨级别的非局部注意，但为了简单起见，我们只展示了查询特性XQ上的远程和短程注意操作。如图所示，首先将编码器/解码器特征和未知区域相乘，得到特征图，进行重排列（将2*2格子对应位置重排列到一起，如图所示，在重排列后，同颜色部分使用非局部注意力）此为远程注意操作，将结果再次进行重排列到原来样子，使用非局部注意力，此为短程注意操作。

Highly Efficient Natural Image Matting相关推荐

机器学习论文：《LightGBM: A Highly Efficient Gradient Boosting Decision Tree》
翻译自<LightGBM: A Highly Efficient Gradient Boosting Decision Tree> 摘要 Gradient Boosting Decisio ...
[论文阅读] Deep Automatic Natural Image Matting
论文地址:https://arxiv.org/abs/2107.07235 发表于:ICJAI'21 Abstract 自动图像抠图(AIM)是指从任意自然图像中估计软前景,而不需要像trimap那样 ...
Design and Implementation of a Highly Efficient DGEMM for 64-bit ARMv8 Multi-Core Processors
Design and Implementation of a Highly Efficient DGEMM for 64-bit ARMv8 Multi-Core Processors 针对64位 A ...
Lightgbm源论文解析：LightGBM: A Highly Efficient Gradient Boosting Decision Tree
写这篇博客的原因是,网上很多关于Lightgbm的讲解都是从Lightgbm的官方文档来的,官方文档只会告诉你怎么用,很多细节都没讲.所以自己翻过来Lightgbm的源论文:LightGBM: A H ...
《LightGBM: A Highly Efficient Gradient Boosting Decision Tree》论文笔记
1 简介本文根据2017年microsoft研究所等人写的论文<LightGBM: A Highly Efficient Gradient Boosting Decision Tree> ...
【3D 目标检测】Not All Points Are Equal Learning Highly Efficient Point-based Detectors for 3D LiDAR Point
Not All Points Are Equal Learning Highly Efficient Point-based Detectors for 3D LiDAR Point Cloud 一 ...
『论文阅读』LightGBM原理-LightGBM: A Highly Efficient Gradient Boosting Decision Tree
17年8月LightGBM就开源了,那时候就开始尝试上手,不过更多还是在调参层面,在作者12月论文发表之后看了却一直没有总结,这几天想着一定要翻译下,自己也梳理下GBDT相关的算法. Abstract ...
LightGBM: A Highly Efficient Gradient Boosting Decision Tree
论文杂记图像检索--联合加权聚合深度卷积特征的图像检索方法主目录下一篇文章结构 lightgbm原理 [前言] LightGBM: A Highly Efficient Gradient Bo ...
密码学-侧信道论文梳理-A Highly Efficient Correlation Power Analysis on PRINT cipher
声明:作者梳理论文仅为学习,如有侵权请联系作者删除博文,谢谢! PRINTcipher的一种高效相关性功耗分析背景侧信道 PRINTcipher PRINTcipher 基本介绍设计攻击方法 ...

Highly Efficient Natural Image Matting

Highly Efficient Natural Image Matting

文章可用（可尝试）创新点

Highly Efficient Natural Image Matting相关推荐

最新文章

热门文章