信号检测与估计理论 pdf_目标检测的性能上界讨论
加入极市专业CV交流群,与6000+来自腾讯,华为,百度,北大,清华,中科院等名企名校视觉开发者互动交流!更有机会与李开复老师等大牛群内互动!
同时提供每月大咖直播分享、真实项目需求对接、干货资讯汇总,行业技术交流。关注 极市平台 公众号 ,回复 加群,立刻申请入群~
作者:ChenJoya链接:https://zhuanlan.zhihu.com/p/94990078本文已由作者授权转载,未经允许,不得二次转载。
发现了最近 arxiv 上的一篇文章 Empirical Upper-bound in Object Detection and More,作者们在多个数据集上探讨了多种检测器所能达到的性能上限,颇有当年 Speed/accuracy trade-offs for modern convolutional object detectors 的风采。“目标检测还有什么能做的?”这个问题确实很令人迷茫,但自己今后仍然会密切关注这个方向,希望能和这篇文章一样,为大家带来一些启发。
Abstract
(1)在作者的计算方式下,PASCAL VOC (test2007) 的上界可以达到 91.6%,COCO (val2017) 可以达到 78.2%, OpenImages V4 (val) 可以达到 58.9%,它们的上界离现在所能达到的最佳的性能仍有很大的差距;
(2)发现分类错误(混淆/漏检)比定位错误和重复检测错误更加重要;
(3)分析了一些数据增强的措施对检测器的影响。
分析
1. 实验细节
(1)平台:主流检测框架 mmdetection,detectron2 ;
(2)模型:R-CNN 系列(FasterRCNN, MaskRCNN, GridRCNN, LibraRCNN, CascadeRCNN, MaskScoringRCNN, GAFasterRCNN, HTC),one-stage/anchor-free系列 (RetinaNet,SSD, FCOS, CenterNet [objects as points]);
(3)数据集:PASCAL VOC (训练 07+12, 测试 07test), MS COCO (训练 train2017, 测试 val2017), OpenImages V4 (as Kaggle Competition), Fashion dataset (作者自个的);
(4)评价标准:COCO-style AP;
2. 如何估计性能上界
(1)假定性能上界是由 best object classifier 能达到的,即认为定位问题已经解决;
(2)探究实验,利用大网络 ResNet152 对目标进行分类,能得到多少的准确率(top-1 accuracy),发现将 object 单独分离出来效果是最好的;
图中的 0.2, 0.4, 0.6 ... 表示 box 的放缩倍数
(3)准备基于 recognition accuracy 来估计 AP 上界。设计一种生成 candidate box 的机制,用于生成不同 IoU 的 bounding-boxes 来计算 AP,并且基于这些 bounding-boxes 重新训练 ResNet-152 分类器;
(4)对于每一个 bounding-box 分配 ResNet-152 的 top-1 score 所对应的 label;
3. 各数据集的上界
(1) PASCAL VOC
(2)COCO
(3)OpenImages V4
(4)AP 与识别 accuracy 的关联
不同类别识别精度与对应 AP 的关联
4. Error Diagnosis
(1)定义四种错误类型:
(2)对于每种错误,人为地消除后观察其提升,没有了分类方面的错误后,性能提升最明显:
5. Invariance Analysis
做各种数据处理,观察性能变化。总的来说,FCOS,RetinaNet 属于最优秀的那一档。
结论
(1)现在检测器的性能还没有离上界还有一定差距(但似乎在 IoU@0.5 时已经十分接近上界了);
(2)检测器的瓶颈在目标识别(recognition)上;
(3)检测器缺乏鲁棒性;
(4)context 对小物体比较重要,但是影响大物体的性能(掉点)。
最后,辛苦作者们了!他们的分析工具开源链接:
https://github.com/aliborji/DeetctionUpperbound,但是现在似乎还是空的,后面应该会放上去。
-End-
*延伸阅读
xYOLO | 最新最快的实时目标检测
CVPR2019通用目标检测
基于深度学习的视频目标检测综述
鼠年上极市,打卡领红包!新参与进来的朋友快快点击鼠年福利 | 不用集五福也能领的千元红包~ 查看活动详情~
红包口令【3】
↓↓↓
PS:新年假期,极市将为大家分享计算机视觉顶会 ICCV 2019 大会现场报告系列视频,欢迎前往B站【极市平台】观看,春节也学习,极市不断更,快来打卡点赞吧~
https://www.bilibili.com/video/av83388862
CV细分方向交流群
添加极市小助手微信(ID : cv-mart),备注:研究方向-姓名-学校/公司-城市(如:目标检测-小极-北大-深圳),即可申请加入目标检测、目标跟踪、人脸、工业检测、医学影像、三维&SLAM、图像分割等极市技术交流群(已经添加小助手的好友直接私信),更有每月大咖直播分享、真实项目需求对接、干货资讯汇总,行业技术交流,一起来让思想之光照的更远吧~
△长按添加极市小助手
△长按关注极市平台
觉得有用麻烦给个在看啦~
信号检测与估计理论 pdf_目标检测的性能上界讨论相关推荐
- 信号检测与估计理论 pdf_CVPR2020|行人检测与重识算法推荐论文源码大盘点
本文收集了CVPR 2020 一些行人检测与人员重识别优秀论文,我们知道在视频监控相关领域这些技术方向可以得到很好得广泛应用. 行人检测及人群计数从内容来看主要解决行人与行人.行人与物体间的遮挡透视, ...
- 分类和目标检测的性能评价指标【转载】
文章目录 1. mAP (mean Avearage Precision) 2. FLOPs (浮点运算数) 3. 模型参数大小 对于深度学习的网络模型,希望其 速度快, 内存小, 精度高.因此需要量 ...
- 提升目标检测模型性能的tricks
提升目标检测模型性能的tricks bag of freebies pixel-wise调整 几何畸变 光照变化 遮挡 Random Erase CutOut Hide-and-Seek Grid M ...
- 任务感知单目深度估计的3D目标检测
标题:Task-Aware Monocular Depth Estimation for 3D Object Detection 作者:Xinlong Wang1∗, Wei Yin1, Tao Ko ...
- 从零深入理解Yolo系列理论v1-v8 + 目标检测面试提问
目标检测-Yolo系列发展 先验框/锚框/候选框 Anchor机制 Anchors Base原理 Anchors Free原理 YOLO v1 Yolov1网络结构 Yolov1实现方法 Yolov1 ...
- Hinton团队CV新作:用语言建模做目标检测,性能媲美DETR
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达 来自|arxiv 编译|机器之心 目标检测的「尽头」是语言建模?近 ...
- 图灵奖大佬Hinton团队CV新作:用语言建模做目标检测,性能媲美DETR
来源:机器之心 目标检测的「尽头」是语言建模?近日,Hinton 团队提出了全新目标检测通用框架 Pix2Seq,将目标检测视作基于像素的语言建模任务,实现了媲美 Faster R-CNN 和 DET ...
- 语言模型“不务正业”做起目标检测,性能还比DETR、Faster R-CNN更好 | Hinton团队研究...
博雯 发自 凹非寺 量子位 报道 | 公众号 QbitAI 长期以来,CNN都是解决目标检测任务的经典方法. 就算是引入了Transformer的DETR,也是结合CNN来预测最终的检测结果的. 但现 ...
- Kaggle竞赛中使用YOLOv5将目标检测的性能翻倍的心路历程
导语:本文的原作者是一位名叫Mostafa Ibrahim的外国友人,简要记录了其在参加kaggle目标检测比赛中,从建立基线到一步一步的优化过程,最终将performance提升了一倍,我觉得是一篇 ...
最新文章
- 微信小程序错误监控方法谈
- 将.net framework 4 部署在docker中的全过程(支持4.0 到 4.8,3.5应该也可以)
- orange's系统可以装mysql 吗?_bochs 2.4.2 ubuntu 安装运行问题《orange#39;s 一个操作系统的...
- 如何学习才能成为优秀的Web前端开发工程师?
- mysql集群环境搭建
- mybatis 里面concat()函数t模糊查询
- Another Professor
- 写一个线程安全的单例模式
- [150529](必看)档案挂靠与打回生源地、暂缓的对比 (广州)
- tvm relay inline pass的调研
- 通过添加css样式cursor属性,改变鼠标的外形,变成放大镜
- 性能优化之道】每秒上万并发下的Spring Cloud参数优化实战
- Linux下dirname命令详解及C/C++代码实现
- 向企业微信发送文字、图片的接口【亲测有效】
- 牛客观察 | 大厂疯狂招人背后: 中小企业要躺平“捡漏”吗?
- mongodb journal文件格式(不错)
- layui单选框verify_layui lay-verify form表单自定义验证规则详解
- java敏感词关键词过滤
- 全国3000多名医护人员感染新冠,医疗机器人与智能技术提供解决方案
- 供销合作社改革聚合力 国稻种芯-兰州榆中:构建现代流通体系
热门文章
- 【机房重构】C#子窗体关闭父窗体
- 如何用Python做日历?
- 定义矩形类(长length,宽widen)求面积(area)(简单例子)
- nodebb接入已有的账号体系及实现单点登陆、更改nodebb样式及页面
- 利用Ajax爬取今日头条头像,街拍图片。关于崔庆才python爬虫爬取今日头条街拍内容遇到的问题的解决办法。
- coc机器人苹果_警察机器人绳索英雄
- 推荐几个全网最全的程序员接私活地方法或完整攻略或常用平台以及接单的注意事项(以免被雇主坑),比如国内的程序员客栈、CODING 码市,国外的Upwork、Freelancer、Dribbble等。
- c++多线程之packaged_task
- 不得不说说微信钉钉后端亿级用户架构那些事
- 优化方法理论合集(10)——贝尔曼动态管理方法