Anchor的泛化:统一物体检测、实例分割、姿态估计的Point-set Anchor
点击上方,选择星标或置顶,不定期资源大放送!
阅读大概需要15分钟
Follow小博主,每天更新前沿干货
作者|FY.Wei,https://zhuanlan.zhihu.com/p/158054890
本文仅供学习参考,如有侵权,请联系删除!
论文:Point-Set Anchors for Object Detection, Instance Segmentation and Pose Estimation
ECCV 2020, MSRA/北京大学
论文链接:https://arxiv.org/abs/2007.02846
我们今年的工作提出了point-set anchor,并尝试了使用regression的思路去统一Object Detection, Instance Segmentation,Pose Estimation三个high-level recognition tasks。
众所周知,在object detection领域,无论是anchor based或者anchor-free based的方法中,其实都是事先定义了物体(bonding box 为GT的表示)的表示形式。anchor based的方法中,如RetinaNet,Faster-RCNN等,是用若干个anchor来表示正样本(IOU大于一定阈值),而anchor-free based的方法中,如CenterNet,FCOS,是用物体的中心点来表示正样本(feature map 的每个点映射回原图落在GT bounding box之中)。不论是anchor based或者anchor-free based的方法,对于正样本在原图的定位,都是基于regression的形式直接回归矩形坐标或者矩形长宽+矩形中心点offset。Anchor从某种程度上来说,表示的只是一种先验信息,anchor可以是中心点,也可以是矩形,同时它还可以提供更多的模型设计思路,如正负样本的分配,分类、回归特征的选择。那么我们的思路是,能不能提出更加general的anchor,泛化的应用于更多的任务中,而不只是Object detection中。
基于这个思路,我们提出了Point-set anchor,是anchor的泛化形式,我们尝试使用提出的point-set anchor,以regression的形式去解决Object Detection, Instance Segmentation,Pose Estimation,其形式如下:
Figure 1
对于Instance Segmentation和Object Detection,使用Figure.1a的Anchor。Object Detection的回归任务比较简单,用中心点或者左上/右下角点回归即可。对于Instance Segmentation来说,我们使用了特定的匹配准则去匹配Point-set anchor中的anchor point和instance GT的polygen point,并且转换为回归任务(详情见paper):
对于Pose Estimation来说,使用Figure.1b的Anchor。传统的bottom-up pose estimation方法大都是使用了heatmap-> grouping的思路。我们利用Point-set anchor直接将pose estimation转换为一个regression的task。即利用point-set anchor中的point直接回归对应的GT中的pose point。
我们的网络设计也很简洁,没有复杂的设计,直接将Point-set Anchor使用在RetinaNet上,直接注意的是,对于pose estimation task,我们额外使用了一个feature aggregation模块,这个模块的作用在于利用我们提出的Point-set anchor的先验信息,使用DCN来aggregate特定的feature,然后提供更好的feature用于分类回归,而不是简单的单点center feature。
最后对于三个task的性能,我们都是基于RetinaNet来做的,没有额外的设计,在pose estimation上取得了不错的性能,在object detection和instance segmentation也做的比较work(单纯的基于RetinaNet,并且以regression的思路去做)。据我们所知,这也是第一个框架尝试统一Object Detection, Instance Segmentation以及Pose Estimation三大任务。
欢迎添加群助手微信,邀请您加入大佬云集-计算机视觉交流群!
???? 长按识别添加,邀请您进群!
Anchor的泛化:统一物体检测、实例分割、姿态估计的Point-set Anchor相关推荐
- HALCON 21.11:深度学习笔记---对象检测, 实例分割(11)
HALCON 21.11:深度学习笔记---对象检测, 实例分割(11) HALCON 21.11.0.0中,实现了深度学习方法. 本章介绍了如何使用基于深度学习的对象检测. 通过对象检测,我们希望在 ...
- 【重磅】旷视提出MegDetV2:目标检测/实例分割新系统
点击上方,选择星标或置顶,不定期资源大放送! 阅读大概需要15分钟 Follow小博主,每天更新前沿干货 编辑:Amusi 在COCO 2019/2020 挑战赛中获得最佳结果!该方案包含RPN++. ...
- 显著性物体检测与分割
http://valse.mmcheng.net/salobj/ 显著性物体检测与分割 活动时间:2014年9月4日星期4,北京时间20:00开始. 主持人:山世光 主讲人:卢湖川,李寅,程明明,等 ...
- 四维图新:高精度地图构建的实时物体检测和分割
四维图新在欧洲成立Advanced Research Lab,该实验室专家谈"高精度地图构建的实时物体检测和分割".
- BBAVectors:一种Anchor Free的旋转物体检测方法
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 导读 WACV2021的一篇文章,将CenterNet的方案用到了 ...
- 【项目实践】基于Mask R-CNN的道路物体检测与分割(从数据集制作到视频测试)...
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 1.内容概要 Mask R-CNN的框架是对Faster R-CNN的扩展,与BBox识别并行的增加一 ...
- yolov7 姿态识别-人体骨架-实时检测+实例分割
(15条消息) YOLOv7实例分割_迷途小书童的Note的博客-CSDN博客https://blog.csdn.net/djstavaV/article/details/126357677 (15条 ...
- 目标检测, 实例分割, 图像分类, panoptic segmentation文献
iFS-RCNN: An Incremental Few-shot Instance Segmenter Nguyễn, Đức Minh Khôi & Todorovic, Sinisa. ...
- 基于Continuous Conditional Neural Fields for Structured Regression的人脸特征点检测和头部姿态估计
Continuous Conditional Neural Fields for Structured Regression 效果图:头部姿态和特征点检测
最新文章
- 对话云知声李霄寒:不计成本研发芯片,探索语音之外的“硬”实力
- keepalived 高可用日志说明及实战配置日志路径
- java 不知道类名_Java 中获取类名的三种方法,你知道几种?
- 用Js的eval解析JSON中的注意点
- iis无法启动计算机上的服务器,Win7系统iis无法启动怎么解决?
- 【快乐水题】997. 找到小镇的法官
- u2020 华为_华为5G网管U2020常用MML命令(很实用)
- action script3.0殿堂之路_【日本乐坛传奇】松任谷由实是谁?新音乐女王的登基之路!...
- html批量导入excel表格,html 导入excel表格数据格式-如何将网页中的表格快速复制到EXCEL中...
- JS——基础知识--变量类型和变量计算
- axios+vue+springboot完成批量删除
- 为什么李彦宏和雷军在一起了?
- PADS2007快捷键、无模命令大全
- 2020 年省份数据拉取
- 【OpenCV】—ROI区域图像叠加图像混合
- 【架构师面试-JVM原理-3】-JVM垃圾回收
- WORD中怎样替换文字格式?
- Android 下雪动画
- 年轻网友分享脑出血经历:无任何征兆 后脑突然像针扎(健康无价)
- timewrap 算法
热门文章
- oracle存储过程dbms_output.put_line()显示打印结果
- Varnish3.0中文入门教程-应用篇2
- 8核移动处理器时代来临
- pstools中如何绕过协议提示
- php nuke是什么,Php Nuke For Donkeys
- html登录界面cookie,HTML中使用cookie保存登录账户
- 当了十年 IT 程序员,我转型做自动驾驶开发的这五年”_《新程序员》编辑部的博客-CSDN博客
- 详解可视化利器 t-SNE 算法:数无形时少直觉
- socket阻塞与IO多路复用
- 为什么await()后会执行lock.unlock,await()时不就释放锁了吗