[1] Instances as Queries

2024-04-11 09:00:12

Instances as Queries

0. 摘要

基于Query，由动态掩膜head平行监督驱动的实力分割方法。关键点：object query跨阶段一一对应；object query与mask ROI feature同阶段一一对应。

1. 介绍

目前SOTA实力分割方法主要基于高性能目标检测器，遵循多阶段设计方式。MASK R-CNN系列，ROI Pool、ROI Align、RPN、feature+FCN(mask)。
DETR基于query的目标检测方法。因此，想到MASK R-CNN + Query = Instance segmentation。
Contribution：
（1）End-to- End实例分割模型
（2）query object detection + instance segmentation
（3）VIS task performance

2. 相关工作

（1）Query based Methods。Object Detection:DETR、Deformable DETR、UP-DETR、ACT、TSP、Sparse R-CNN（R-CNN based）。Segmentation：VisTR、Max-DeepLab、Trackformer、Transtrack、AS-Net
（2）Object Detection：R-CNN（anchor based）、Center Net（anchor free）、DETR（query based）
（3）Instance Segmentation：Mask R-CNN、HTC、YOLACT、SOLO

3. QueryInst

3.1 Query Based目标检测

基于query的目标检测pipeline（Sparse R-CNN）：

3.2 Vanilla Mask Head

Vanilla mask head architecture design in Mask R-CNN。在目标检测的基础上添加mask generation module：

3.3 Dynamic Mask Head

在Vanilla Mask Head的基础上添加卷积层关联query与mask。

4. 思考

保证了query在不同stage间的一一队应和同stage内query与mask的一一对应，不同stage的mask之间没有提到需要保持一致性。是否可以考虑添加stage间的mask一致性？（参考HTC Mask information flow）

[1] Instances as Queries相关推荐

ICCV 2021 揭榜！十大方向抢先看！（Transformer/分割/Action/插帧/超分等）
点击下方"计算机视觉联盟",一起进步!重磅干货,第一时间送达作为计算机视觉领域三大会议之一的 ICCV(IEEE International Conference on Comp ...
计算机视觉论文-2021-06-23
本专栏是计算机视觉方向论文收集积累,时间:2021年6月23日,来源:paper digest 欢迎关注原创公众号 [计算机视觉联盟],回复 [西瓜书手推笔记] 可获取我的机器学习纯手推笔记! 直达笔 ...
计算机视觉论文-2021-06-22
本专栏是计算机视觉方向论文收集积累,时间:2021年6月23日,来源:paper digest 欢迎关注原创公众号 [计算机视觉联盟],回复 [西瓜书手推笔记] 可获取我的机器学习纯手推笔记! 直达笔 ...
ICCV 2021 结果出炉！最全论文下载及分类汇总（更新中）
在本文中,我们对ICCV2021的最新论文进行了分类汇总,按研究方向整理.包含目标检测.图像分割.目标跟踪.医学影像.3D.模型压缩.图像处理.姿态估计.文本检测等多个方向,同时,我们将对优秀论文解读 ...
ICCV 2021 最新200篇ICCV2021论文分方向汇总
ICCV 2021 结果出炉!最新200篇ICCV2021论文分方向汇总(更新中) - 知乎不久前,计算机视觉三大顶会之一ICCV2021接收结果已经公布,本次ICCV共计 6236 篇有效提交论文 ...
ICCV 2021 放榜！一文看尽10篇论文的开源项目（检测/分割/Transformer等）
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达前言 ICCV 2021 刚刚公布获奖结果!先恭喜各位论文被收录的同学.ICCV 2021 最终收录1617 ...
Deformable DETR要点解读
最近整理Transformer和set prediction相关的检测&实例分割文章,感兴趣的可以跟一下: DETR: End-to-End Object Detection with Tra ...
How Twitter Uses Redis to Scale - 105TB RAM, 39MM QPS, 10,000+ Instances
Yao Yue has worked on Twitter's Cache team since 2010. She recently gave a really great talk:Scaling ...
Weka 开发［1］－Instances类
先google一下,把Weka软件下载下来,安装完成之后,在Weka的安装目录中有一个weka.jar的包. 把包添加到工程中后,就可以调用weka中的函数了. 再介绍一点weka的基本知识,在wek ...
【原】YUI压缩与CSS media queries下的bug
大概是上个月,使用YUI压缩一个css文件后,发现只要是被压缩后的css文件有部分根本无法工作,一直都不知啥问题引起的,让我感到头疼. 今天发现了只要是在媒体查询中的样式无法起作用,于是才开始怀疑是m ...

最新文章

热门文章