创新点

1、提出了一个新的细粒度透明对象分割数据集，称为 Trans10K-v2

2、提出了一种新的基于 Transformer 的分割通道，称为 Trans2Seg

Abstract

这项工作提出了一个新的细粒度透明对象分割数据集，称为 Trans10K-v2，扩展了第一个大规模透明对象分割数据集 Trans10K-v1。与只有两个有限类别的 Trans10K-v1 不同，我们的新数据集有几个吸引人的好处。

(1) 具有11个细粒度的透明物体类别，常见于人类生活环境中，更适合现实应用。

(2) Trans10K-v2 比之前的版本给当前的高级分割方法带来了更多的挑战。

此外，提出了一种新的基于变压器的分割管道，称为 Trans2Seg。

首先，Trans2Seg 的 Transformer 编码器提供了全局感受野，与 CNN 的局部感受野相比，这与纯 CNN 架构相比具有出色的优势。其次，通过将语义分割公式化为字典查找问题，我们设计了一组可学习的原型作为 Trans2Seg 的 Transformer 解码器的查询，其中每个原型学习整个数据集中一个类别的统计信息。我们对 20 多种最近的语义分割方法进行了基准测试，证明 Trans2Seg 明显优于所有基于 CNN 的方法，显示了所提出的算法解决透明对象分割的潜在能力。

Method

CNN-Transformer 架构的整个流程

首先，输入图像被馈送到 CNN 以提取特征 F；

其次，对于 Transformer 编码器，特征和位置嵌入被展平并馈送到 Transformer 以进行自我注意，并从 Transformer 编码器输出特征 Fe；

第三，对于transformer decoder，作者专门定义了一组可学习的类原型嵌入（Ecls）作为 query，Fe 作为 key，用 Ecls 和 Fe 计算 attention map（这里的原理大家参考self-attention）每个类原型嵌入对应于最终预测的一个类别；

并且作者还添加了一个小的 conv head 来融合来自 CNN 主干的注意力图和 Res2Net 特征（架构中并没有标记出 Res2Net，后面我会介绍）；

Transformer decoder 和 small conv head 的细节参考下一小节；

最后，通过在注意力图上进行像素级 argmax 得到预测结果。

Transformer decoder and small-head

Transformer decoder

可学习的类别原型 Ecls 作为查询，来自 Transformer encoder 的特征作为键和值；

输入到由几个解码器层组成的 Transformer decoder 中。

small-head

来自最后一个解码器层的注意力图和来自 CNN 主干的 Res2Net 特征被 concat 起来；

并馈送到一个小的 conv head 以获得最终的预测结果；

其架构，很简单明了，看图可知。

Experiments

实验目标：评估了最先进的语义分割方法

实验结果：作者提出的Trans2Seg 在像素精度和平均 IoU 以及大多数类别 IoU 方面超过了所有其他方法

【论文笔记】Segmenting Transparent Object in the Wild with Transformer相关推荐

论文笔记 |【CVPR2021】Uformer: A General U-Shaped Transformer for Image Restoration
论文笔记 |[CVPR2021]Uformer: A General U-Shaped Transformer for Image Restoration 文章目录论文笔记 |[CVPR2021]U ...
论文笔记：Deep Object Co-Segmentation（ACCV2018)
Deep Object Co-Segmentation(ACCV2018) 论文原文代码双分支的encoder .mutual correlation network和decoder 原文中关于网 ...
论文笔记：Adapting Object Detectors via Selective Cross-Domain Alignment
论文地址:https://ieeexplore.ieee.org/document/8953252 源码地址:https://github.com/xinge008/SCDA 1 Focus of A ...
论文笔记之---Person Re-identification in the Wild
Abstract 本文提出的方法主要解决了三个问题:不同detectors和recognizers的组合的表现,行人检测对于提升再识别过程中准确率有所帮助这一现象背后的机理,以及评估了不同detect ...
论文笔记 -《Self-Attention Attribution: Interpreting Information Interactions Inside Transformer》
1.摘要基于 transformer 的模型的巨大成功得益于强大的多头自我注意机制,该机制从输入中学习token依赖并编码语境信息.先前的工作主要致力于针对具有不同显著性度量的单个输入特性的贡献 ...
论文笔记《Selective Search for Object Recognition》
论文笔记 <Selective Search for Object Recognition> 项目网址:http://koen.me/research/selectivesearch/ 一 ...
3d object是什么文件_[单目3D目标检测论文笔记] 3D Bounding Box Estimation
本文是3D Bounding Box Estimation Using Deep Learning and Geometry的论文笔记及个人理解.这篇文章是单目图像3d目标检测的一个经典工作之一.其目 ...
论文笔记 SiamMask : Fast Online Object Tracking and Segmentation: A Unifying Approach
论文连接:[1812.05050] Fast Online Object Tracking and Segmentation: A Unifying Approach 论文连接:[1812.05050 ...
论文笔记 Object-Aware Instance Labeling for Weakly Supervised Object Detection - ICCV 2019
Object-Aware Instance Labeling for Weakly Supervised Object Detection Kosugi ICCV, 2019 (PDF) (Citat ...

【论文笔记】Segmenting Transparent Object in the Wild with Transformer

创新点