太棒了!港大同济伯克利推出目标检测新范式:Sparse R-CNN
点上方蓝字计算机视觉联盟获取更多干货
在右上方 ··· 设为星标 ★,与你不见不散
仅作学术分享,不代表本公众号立场,侵权联系删除
转载于:机器之心,原文链接:https://zhuanlan.zhihu.com/p/310058362
AI博士笔记系列推荐
周志华《机器学习》手推笔记正式开源!可打印版本附pdf下载链接
全新的目标检测范式Sparse R-CNN。
本文主要介绍一下我们最近的一篇工作:
沿着目标检测领域中 Dense 和 Dense-to-Sparse 的框架,Sparse R-CNN 建立了一种彻底的 Sparse 框架, 脱离 anchor box,reference point,Region Proposal Network(RPN) 等概念,无需 Non-Maximum Suppression(NMS) 后处理, 在标准的 COCO benchmark 上使用 ResNet-50 FPN 单模型在标准 3x training schedule 达到了 44.5 AP 和 22 FPS。
Paper: https://arxiv.org/abs/2011.12450
Code: https://github.com/PeizeSun/SparseR-CNN
1. Motivation
我们先简单回顾一下目标检测领域中主流的两大类方法。
第一大类是从非 Deep 时代就被广泛应用的 dense detector,例如 DPM,YOLO,RetinaNet,FCOS。在 dense detector 中, 大量的 object candidates 例如 sliding-windows,anchor-boxes, reference-points 等被提前预设在图像网格或者特征图网格上,然后直接预测这些 candidates 到 gt 的 scaling/offest 和物体类别。
第二大类是 dense-to-sparse detector,例如,R-CNN 家族。这类方法的特点是对一组 sparse 的 candidates 预测回归和分类,而这组 sparse 的 candidates 来自于 dense detector。
这两类框架推动了整个领域的学术研究和工业应用。目标检测领域看似已经饱和,然而 dense 属性的一些固有局限总让人难以满意:
NMS 后处理
many-to-one 正负样本分配
prior candidates 的设计
所以,一个很自然的思考方向就是:能不能设计一种彻底的 sparse 框架?最近,DETR 给出了一种 sparse 的设计方案。candidates 是一组 sparse 的 learnable object queries,正负样本分配是 one-to-one 的 optimal bipartite matching,无需 nms 直接输出最终的检测结果。然而,DETR 中每个 object query 都和全局的特征图做 attention 交互,这本质上也是 dense。而我们认为,sparse 的检测框架应该体现在两个方面:sparse candidates 和 sparse feature interaction。基于此,我们提出了 Sparse R-CNN。
Sparse R-CNN 抛弃了 anchor boxes 或者 reference point 等 dense 概念,直接从 a sparse set of learnable proposals 出发,没有 NMS 后处理,整个网络异常干净和简洁,可以看做是一个全新的检测范式。
2.Sparse R-CNN
Sparse R-CNN 的 object candidates 是一组可学习的参数,N*4,N 代表 object candidates 的个数,一般为 100~300,4 代表物体框的四个边界。这组参数和整个网络中的其他参数一起被训练优化。That's it,完全没有 dense detector 中成千上万的枚举。这组 sparse 的 object candidates 作为 proposal boxes 用以提取 Region of Interest(RoI),预测回归和分类。
这组学习到的 proposal boxes 可以理解为图像中可能出现物体的位置的统计值,这样 coarse 的表征提取出来的 RoI feature 显然不足以精确定位和分类物体。于是,我们引入一种特征层面的 candidates,proposal features,这也是一组可学习的参数,N*d,N 代表 object candidates 的个数,与 proposal boxes 一一对应,d 代表 feature 的维度,一般为 256。这组 proposal features 与 proposal boxes 提取出来的 RoI feature 做一对一的交互,从而使得 RoI feature 的特征更有利于定位和分类物体。相比于原始的 2-fc Head,我们的设计称为 Dynamic Instance Interactive Head。
Sparse R-CNN 的两个显著特点就是 sparse object candidates 和 sparse feature interaction,既没有 dense 的成千上万的 candidates,也没有 dense 的 global feature interaction。Sparse R-CNN 可以看作是目标检测框架从 dense 到 dense-to-sparse 到 sparse 的一个方向拓展。
3. Architecture Design
Sparse R-CNN 的网络设计原型是 R-CNN 家族。
Backbone 是基于 ResNet 的 FPN。
Head 是一组 iterative 的 Dynamic Instance Interactive Head,上一个 head 的 output features 和 output boxes 作为下一个 head 的 proposal features 和 proposal boxes。Proposal features 在与 RoI features 交互之前做 self-attention。
训练的损失函数是基于 optimal bipartite matching 的 set prediction loss。
从 Faster R-CNN(40.2 AP) 出发,直接将 RPN 替换为 a sparse set of learnable proposal boxes,AP 降到 18.5;引入 iterative 结构提升 AP 到 32.2;引入 dynamic instance interaction 最终提升到 42.3 AP。
4. Performance
我们沿用了 Detectron2 的 3x training schedule,因此将 Sparse R-CNN 和 Detectorn2 中的 detectors 做比较(很多方法没有报道 3x 的性能,所以没有列出)。同时,我们也列出了同样不需要 NMS 后处理的 DETR 和 Deformable DETR 的性能。Sparse R-CNN 在检测精度,推理时间和训练收敛速度都展现了相当有竞争力的性能。
5. Conclusion
R-CNN 和 Fast R-CNN 出现后的一段时期内,目标检测领域的一个重要研究方向是提出更高效的 region proposal generator。Faster R-CNN 和 RPN 作为其中的佼佼者展现出广泛而持续的影响力。Sparse R-CNN 首次展示了简单的一组可学习的参数作为 proposal boxes 即可达到 comparable 的性能。我们希望我们的工作能够带给大家一些关于 end-to-end object detection 的启发。
end
这是我的私人微信,还有少量坑位,可与相关学者研究人员交流学习
目前开设有人工智能、机器学习、计算机视觉、自动驾驶(含SLAM)、Python、求职面经、综合交流群扫描添加CV联盟微信拉你进群,备注:CV联盟
王博的公众号,欢迎关注,干货多多
王博的系列手推笔记(附高清PDF下载):
博士笔记 | 周志华《机器学习》手推笔记第一章思维导图
博士笔记 | 周志华《机器学习》手推笔记第二章“模型评估与选择”
博士笔记 | 周志华《机器学习》手推笔记第三章“线性模型”
博士笔记 | 周志华《机器学习》手推笔记第四章“决策树”
博士笔记 | 周志华《机器学习》手推笔记第五章“神经网络”
博士笔记 | 周志华《机器学习》手推笔记第六章支持向量机(上)
博士笔记 | 周志华《机器学习》手推笔记第六章支持向量机(下)
博士笔记 | 周志华《机器学习》手推笔记第七章贝叶斯分类(上)
博士笔记 | 周志华《机器学习》手推笔记第七章贝叶斯分类(下)
博士笔记 | 周志华《机器学习》手推笔记第八章(上)
博士笔记 | 周志华《机器学习》手推笔记第八章(下)
博士笔记 | 周志华《机器学习》手推笔记第九章
点个在看支持一下吧
太棒了!港大同济伯克利推出目标检测新范式:Sparse R-CNN相关推荐
- 优秀!港大同济伯克利提出Sparse R-CNN: 目标检测新范式
作者孙培泽 转自知乎,已获授权转载,请勿二次转载 https://zhuanlan.zhihu.com/p/310058362 本文主要介绍一下我们最近的一篇工作: Sparse R-CNN: End ...
- CVPR2020 | 商汤-港中文等提出PV-RCNN:3D目标检测新网络
关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! 作者:不一样的子湘 知乎链接:https://zhuanlan.zhihu.com ...
- 中南大学计算机学院雷文太,面向探地雷达 B-scan图像的目标检测算法综述
JOL H M. 雷文太, 童孝忠, 周旸, 译. 探地雷达理论与应用[M]. 北京: 电子工业出版社, 2011. JOL H M. LEI Wentai, TONG Xiaozhong, ZHOU ...
- CVPR 2020 | 港中文提出3D目标检测新框架DSGN
©PaperWeekly 原创 · 作者|张承灏 学校|中科院自动化所硕士生 研究方向|双目深度估计 本文介绍的是香港中文大学贾佳亚团队在 CVPR 2020 上提出的 3D 目标检测新框架--深度立 ...
- 港中文开源 | 融合视频目标检测与单目标、多目标跟踪
点上方蓝字计算机视觉联盟获取更多干货 在右上方 ··· 设为星标 ★,与你不见不散 仅作学术分享,不代表本公众号立场,侵权联系删除 转载于:机器之心 AI博士笔记系列推荐 周志华<机器学习> ...
- 搜狗浏览器也可以直接安装Chrome插件,太棒了
这是最近才发现的一个小秘密,简直太棒了,从此以后可以直接从Chrome应用店安装插件,再也不用到搜狗应用里面找插件了. 地球人都在用的ABP终于可以用了. 方法很简单,在搜狗浏览器里面打开Chrome ...
- Linux14.04下安装网易云音乐和搜狗输入法(太棒了!!!)
本文转载于:http://blog.csdn.net/tao_627/article/details/51535294 注:本人比较喜欢挺音乐,一直用的是Linux版本,一直苦苦的用着网页版的网易云音 ...
- 魅族android11,安卓11版本升级了,魅族17系列开启内测尝鲜,这功能太棒了
原标题:安卓11版本升级了,魅族17系列开启内测尝鲜,这功能太棒了 此前 12 月 22 日,魅族 Flyme 官方宣布,魅族 17 系列即将迎来基于 Android 11 系统底层的 Flyme 新 ...
- 【星蕴图】这个设计太棒了!
目录 一.背景 二.代码实现 1.星空背景+动物轮廓图案直接使用图片: 2.星星 3.优化 4.鼠标悬浮算法 三.总结 一.背景 游戏作为第九艺术越来越炫酷了,各种花样引领行业进步. 第一次看到某游戏 ...
最新文章
- P2894 [USACO08FEB]酒店Hotel
- mybatis plus条件拼接
- 5-8 离散点检测(改进版无error)
- python ioc di_Sping(一)——IOC/DI
- python切片逆序_Python 的逆序同时切片如何操作?
- Java 源码--Arrays
- 19 CO配置-控制-产品成本控制-产品成本计划编制-定义日期控制
- oracle orm 实例 java_Oracle数据库的JDBC查询实例
- DBA想要拓展技能,拿下高薪Offer,这些原创公众号你关注了吗?
- C++之关于虚函数和多态的分析和补充
- SQL/PLUS创建JAVA SOURCE的问题,符号提示输入内容
- Ubuntu下配置lazarus开发环境
- 相对客观的权重计算方法——熵权法
- 一些比较好用的网站整站下载工具
- 最新服务器处理器天梯,2019 最新 至强 Xeon 服务器系列 CPU天梯图
- 对于刺头,怎么办?9个套路支招
- 电脑连接android手机测试,Android系统手机通过USB连接电脑上网
- 顺序表(一篇带你掌握顺序表)
- 编程算法基础-常数变易法
- java验证码验证码_Java登录页面实时验证用户名密码和动态验证码
热门文章
- js获取a标签的value值_js逆向 | 某住房网跳转链接生成逻辑分析
- linux 文件查找_Linux文件查找
- phoenix的元数据一般存在哪里_ElasticSearch文档元数据(Metadata)
- win10清理_无需第三方,win10也可以实现自动清理垃圾
- 【linux】RedHat 7.x 升级 openssh 为 8.x 版本
- zabbix监控redis
- 在线可视化python网站_Python的可视化工具概述
- linux系统6.5详解,linux6.5下 简单配置 MINI 系统实现详解(1)
- c语言一维数组定义可用字母吗,C语言一维数组的定义和引用
- [leetcode]468. Validate IP Address验证有效IP地址