CVPR2020 | 谷歌提出多目标(车辆)跟踪与检测框架 RetinaTrack
本文原载知乎,经作者授权转载,请勿二次转载。
https://zhuanlan.zhihu.com/p/127115290
RetinaTrack
论文题目:RetinaTrack: Online Single Stage Joint Detection and Tracking
作者:全部来自谷歌
备注:Waymo 39.12 MOTA, 14FPS
RetinaTrack 也是同之前的联合检测和跟踪的算法一样的框架,从名字也知道是基于 RetinaNet 的,但是论文中是以自动驾驶为背景进行介绍的,没有在MOT Challenge赛道比拼,倒是跟 Tracktor++ 进行了比较。
首先我们回顾一下 RetinaNet 的结构:
整体来看,我们可以讲其归纳为三个特点:FPN、focal loss、回归和分类的两个分支。看看RetinaTrack的架构:
直接从图上看的话我们可以得到的信息是,RetinaNet在分类和回归的分支上分别预测了k个anchor下的分类和回归信息。
而 RetinaTrack 与 JDE 和 FairMOT 一样,都增加了一个256维的特征信息embeddings分支:
我们都知道,在MOT场景中需要解决严重遮挡问题,这个问题对于检测的影响也很大,比如:
上图中两辆车的中心重合,二者的检测框如果都是基于同一个anchor点进行预测的,则很难得到具有分辨力的embeddings。
另外,ReID和目标检测在特征方面的需求不同,以行人检索为例,目标检测中分类要求同类目标特征一致,而ReID则是要求在保证类内距离尽可能小的同时,确保类间距离大,但是这里的类间指的是不同身份的人,但是对于目标检测而言都是人。
所以这里将ReID和分类的共享特征减少是最好的选择,作者这里实际上隐含着用了三种方式改进这一点:
1)通过将分类、回归和特征提取设为三个分支任务,除了FPN之前的部分,三者的特征共享部分含有m1个3x3卷积;
2)对于每层特征图上每个特征点的k个anchor,全部预测分类、回归和特征,增加区分度。;
3)对于检测任务,分类和回归分支都包含m2个3x3卷积,而embedding分支则为m3个1x1卷积。
对于训练部分,不同于JDE和 FairMOT 采用的 identification 模式,RetinaTrack 采用的是 verification 模式,采用基于 batch-hard 的 triplet loss进行训练,其中margin为0.1。
以上任务是在一堆TPU上训练的,基于 Momentum SGD算法,每个batch还有128个clips,每个clip含两个相隔8帧的样本(对于10Hz的Waymo数据集而言就是相隔0.8s),图像输入是1024x1024,并采用bfloat16式的混合精度训练模式。其中去除embeddings分支的部分是在COCO数据集上预训练的,然后采用warmup和余弦退火学习策略训练。
实验效果如下:
由消融实验可知,anchor类型数量越多效果越好,其中RetinaNet部分是直接通过IOU进行数据关联的。紧接着作者又做了几组对比实验:
对比 MOT Challenge 中表现良好的 Tracktor++ 算法,RetinaTrack 效果更好;
基于 IOU,不采用 triplet loss(这是直接做成 identification 了?),或者将特征分支单独利用resnet50训练这两种方法都不如 RetinaTrack。
在 Waymo v1.1 数据集上 MOTA 可达 44.92,mAP 可达 45.70,推理速度为70ms。
论文地址:
https://arxiv.org/abs/2003.13870
目前还未发现该文有开源代码。
在我爱计算机视觉公众号后台回复“RetinaTrack”即可收到论文下载。
参考文献:
RetinaTrack: Online Single Stage Joint Detection and Tracking
https://zhuanlan.zhihu.com/p/125395219
https://zhuanlan.zhihu.com/p/126558285
https://zhuanlan.zhihu.com/p/126359766
END
备注:跟踪
目标跟踪交流群
目标跟踪、视觉跟踪等更多最新技术,
若已为CV君其他账号好友请直接私信。
我爱计算机视觉
微信号:aicvml
QQ群:805388940
微博知乎:@我爱计算机视觉
投稿:amos@52cv.net
网站:www.52cv.net
在看,让更多人看到
CVPR2020 | 谷歌提出多目标(车辆)跟踪与检测框架 RetinaTrack相关推荐
- 识别迷雾中的物体,谷歌提出最新目标检测算法Context R-CNN
晓查 发自 凹非寺 量子位 报道 | 公众号 QbitAI 你能从下面的照片里看到什么吗? 呃,看起来像清晨的浓雾,但浓雾后面是什么,真的看不清楚.其实这是一群牛羚在山上行走. 虽然人眼已经无能为力 ...
- 超越 MobileNet,谷歌提出 MobileDets:移动端目标检测新标杆
原文链接:超越 MobileNet,谷歌提出 MobileDets:移动端目标检测新标杆 导读:在移动端上的目标检测架构,目前比较流行的三大派系分别为:谷歌出品的MobileNet系列(v1-v3). ...
- 单目标跟踪SiamMask:特定目标车辆追踪 part2
日萌社 人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新) CNN:RCNN.SPPNet.Fast RCNN.Faste ...
- 7 Papers Radios | GCN大佬公开博士论文;谷歌提出扩展型BERT架构
点击上方↑↑↑"视学算法"关注我 来源:公众号 机器之心 授权 本周的重要论文包括谷歌提出的扩展型 BERT 架构 Tapas,以及 GCN 作者的博士论文. 目录: SYNTHE ...
- ImageNet训练再创纪录!谷歌提出1个小时训练EfficientNet,准确率高达83%!
点击上方,选择星标或置顶,不定期资源大放送! 阅读大概需要15分钟 Follow小博主,每天更新前沿干货 本文转载自:AI科技评论 | 注:文末附论文PDF下载 作者 | 青暮 近年来,随着深度学 ...
- 重磅!谷歌发布3D目标检测数据集及检测方案
点上方蓝字计算机视觉联盟获取更多干货 在右上方 ··· 设为星标 ★,与你不见不散 仅作学术分享,不代表本公众号立场,侵权联系删除 转载于:新智元 AI博士笔记系列推荐 周志华<机器学习> ...
- 【信息技术】【2012.12】基于视觉的车辆计数检测跟踪监控系统框架
本文为美国乔治亚理工学院(作者:Keitaro Kamiya)的硕士论文,共136页. 本文提出了一个车辆检测跟踪监控系统的框架.给出了一个优化的目标检测模板,并考虑了该方法在车辆计数应用中的可行性和 ...
- 【信息技术】【2007】遮挡与杂乱环境中的车辆跟踪研究
本文为加拿大滑铁卢大学(作者:KURTIS NORMAN MCBRIDE)的硕士论文,共80页. 在遮挡与杂乱的环境中,车辆跟踪是一个活跃的研究领域,这种环境中跟踪车辆的问题带来了各种各样的挑战.这些 ...
- 利用毫米波雷达点云进行多目标聚类跟踪的算法设计
利用毫米波雷达点云进行多目标聚类跟踪的算法设计 文章目录 利用毫米波雷达点云进行多目标聚类跟踪的算法设计 前言 1 简介 1.1 跟踪模块 1.2 雷达几何图 1.3 跟踪坐标系的选择 1.4 恒速度 ...
最新文章
- C#生成Excel文件的方法
- 【Windows系统】基于vscode搭建go语言开发环境
- linux怎么进入root文件,linux下安装ROOT过程
- python实验指导书2018_python实验指导书
- Android代码(Handler的运用),HttpURLConnection的应用,将url图片地址转换成图片。
- mysql选中一行数据_获取table选中一行数据库
- 【精彩回顾】软件DevOps云化发展的趋势
- 锐捷6800 vrrp mstp配置实例
- 【MySQL】mysql show操作简单示例
- linux下安装redmine2.5.1详细步骤
- vue 倒计时 插件_VUE-倒计时插件使用(订单,砍价,拼团,倒计时使用)
- 图像去模糊系列二 高斯白噪声
- sublime text 3 插件 OmniMarkupPreviewer 报404解决办法
- 回文数,用scratch编程实现回文数
- Apple现行公开的framework简介
- Python爬虫之——爬取妹子图片
- 学习C语言有什么书适合新手看
- Openresty宏观概述笔记
- Android App开发之位图加工Bitmap中转换位图的像素色彩、裁剪内部区域、利用矩阵变换位图的讲解及实战(附源码和演示)
- 团队管理中提高团队凝聚力方法
热门文章
- 机器学习之神经网络学习及其模型
- hbase 导入到es_HBase 实现数据同步 ElasticSearch
- python标准库使用教程_Python标准库概览
- linux 强制结束p进程的命令,Linux常用命令之性能命令
- php命令执行无法重定向输出,PHP标头重定向无法正常工作
- linux查找指定修改时间的文件夹,linux 查找某个日期以后修改过哪些文件 shell脚本...
- php中的rand,php rand() 随机数生成的方法介绍
- 安装的mysql密码忘了_mysql8安装成功后忘记密码
- dz去掉/forum.php_discuz如何去除url的forum.php
- linux系统怎么安装cas,CAS 在Linux中安装与配置