融合视频目标检测与单目标、多目标跟踪,港中文开源一体化视频感知平台 MMTracking...
点击上方“3D视觉工坊”,选择“星标”
干货第一时间送达
编辑丨机器之心 魔王
香港中文大学多媒体实验室(MMLab)OpenMMLab 开源一体化视频目标感知平台 MMTracking。
新年伊始,香港中文大学多媒体实验室(MMLab)OpenMMLab 又有新动作,发布了一款一体化视频目标感知平台 MMTracking。该框架基于 PyTorch 写成,支持单目标跟踪、多目标跟踪与视频目标检测,目前已开源。
GitHub 地址:https://github.com/open-mmlab/mmtracking
MMTracking 效果展示。
据介绍,MMTracking 具备以下主要特性:
1. 首个开源一体化视频目标感知平台
对视频内的目标进行感知识别一直是学界、业界都非常关心的问题。这个问题在学界常被细分为不同的子问题,比如视频目标检测、多目标跟踪与单目标跟踪。具体来说,
视频目标检测只需对视频内的每一帧进行检测,不要求对不同帧中的同一目标进行关联。
多目标检测在完成视频目标检测的基础上,更加侧重于对视频内的同一目标进行关联。
单目标跟踪更加侧重人机交互,算法需要在给定一个任意类别、任意形状目标的情况下,对其进行持续跟踪。
近几年来,虽然各个任务都涌现了许多优秀的算法,但这些领域仍然缺少开源的代码框架,给代码复现、借鉴、公平对比带来了很大困难。OpenMMLab 将这些任务融合到了同一框架下,希望能够作为开源的一体化视频目标感知平台,推动不同子领域间的融合、互促与发展。
2. OpenMMLab 内部项目间的充分交互
视频目标感知在大部分情况下可以认为是 2D 目标检测的下游任务,十分依赖各种 2D 目标检测算法。在此之前,如何使用或切换不同的 2D 目标检测器其实是一个很烦琐耗时的任务。
MMTracking 充分利用了 OpenMMLab 其他平台的成果与优势,比如它 import 或继承了 MMDetection 中的大部分模块,极大地简化了代码框架。在这种模式下,通过 configs 可以直接使用 MMDetection 中的所有模型。以多目标跟踪举例,每一个多目标跟踪模型多由以下几个模块组成:
import torch.nn as nnfrom mmdet.models import build_detectorclass BaseMultiObjectTracker(nn.Module):def __init__(self,detector=None,reid=None,tracker=None,motion=None,pretrains=None):self.detector = build_detector(detector)...
Configs 示例:
model = dict(type='BaseMultiObjectTracker',detector=dict(type='FasterRCNN', **kwargs),reid=dict(type='BaseReID', **kwargs),motion=dict(type='KalmanFilter', **kwargs),tracker=dict(type='BaseTracker', **kwargs))
现阶段的 ReID 模型也继承了 MMClassification 中的一些模块并将在后期增加其他支持。
受益于 OpenMMLab 的这种模块化设计,MMTracking 可以利用其他图像级平台的已有成果,从而只需要注重视频部分模块的设计与开发。同时,如果用户需要单独训练一个目标检测器,该工具也支持直接使用 MMDetection 的 configs 进行训练,只需要在 config 中添加一句 USE_MMDET=True 即可将模式切换到 MMDetection 下,进行前序模型训练。
3. 高效、强大的基准模型
视频目标感知领域中的不同方法往往各成一派,缺乏公认的训练方法与准则,因此在很多时候很难做到真正的公平对比。
MMTracking v0.5 复现了各个领域的主流算法,包括:
视频目标检测:DFF、FGFA、SELSA
多目标跟踪:SORT、DeepSORT、Tracktor
单目标跟踪:SiameseRPN++
据 OpenMMLab 知乎文章介绍,MMTracking 在保证高效训练与推理的基础上,有些模型甚至超出官方实现,例如:
对视频目标检测算法 SELSA 的实现结果(第一行)相比于官方实现(第二行),在 ImageNet VID 数据集上 mAP@50 超出 1.25 个点。
对多目标跟踪算法 Tracktor 的实现结果(第一行)相比于官方实现(第二行),在 MOT17 数据集上 MOTA 超出 4.9 个点,IDF1 超出 3.3 个点。
对单目标跟踪算法 SiameseRPN++ 的实现结果(第一行)相比于官方实现(第二行),在 LaSOT 数据集上的 Norm precision 超出 1.0 个点。
OpenMMLab 知乎文章:https://zhuanlan.zhihu.com/p/341283833
本文仅做学术分享,如有侵权,请联系删文。
下载1
在「3D视觉工坊」公众号后台回复:3D视觉,即可下载 3D视觉相关资料干货,涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。
下载2
在「3D视觉工坊」公众号后台回复:3D视觉github资源汇总,即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。
下载3
在「3D视觉工坊」公众号后台回复:相机标定,即可下载独家相机标定学习课件与视频网址;后台回复:立体匹配,即可下载独家立体匹配学习课件与视频网址。
重磅!3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群,目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。
一定要备注:研究方向+学校/公司+昵称,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
3D视觉从入门到精通知识星球:针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,近2000星球成员为创造更好的AI世界共同进步,知识星球入口:
学习3D视觉核心技术,扫描查看介绍,3天内无条件退款
圈里有高质量教程资料、可答疑解惑、助你高效解决问题
觉得有用,麻烦给个赞和在看~
融合视频目标检测与单目标、多目标跟踪,港中文开源一体化视频感知平台 MMTracking...相关推荐
- 港中文开源 | 融合视频目标检测与单目标、多目标跟踪
点上方蓝字计算机视觉联盟获取更多干货 在右上方 ··· 设为星标 ★,与你不见不散 仅作学术分享,不代表本公众号立场,侵权联系删除 转载于:机器之心 AI博士笔记系列推荐 周志华<机器学习> ...
- 视频目标检测与图像目标检测的区别
一. 前言 本文介绍了知乎上关于视频目标检测与图像目标检测的区别的几位大佬的回答.主要内容包括有视频目标检测与图像目标检测的区别.视频目标检测的研究进展.研究思路和方法. 作者:Naiyan Wang ...
- 目标检测综述——单阶段检测器
文章目录 一.SSD((Single Shot MultiBox Detector)) 1.Default box 2.训练过程 3.数据增强 4.其他变体 (1)DSSD (2)DSOD (3)FS ...
- 基于深度学习的目标检测综述(单阶段、多阶段、FPN变体、旋转目标检测等)
随着深度学习的发展,基于深度学习的目标检测方法因其优异的性能已经得到广泛的使用.目前经典的目标检测方法主要包括单阶段(YOLO.SSD.RetinaNet,还有基于关键点的检测方法等)和多阶段方法(F ...
- win10,vs2015深度学习目标检测YOLOV5+deepsort C++多目标跟踪代码实现,源码注释,拿来即用。
打死不用CSDN,整改的太恶心了,发什么都审核不过,各种图片和链接不让发.人如果没有立场那还是人吗?不用CSDN并且博客园就很好! DeepSort纯C++ Yolov5[s,l,m系列],详细讲解- ...
- DL之Yolov3:基于深度学习Yolov3算法实现视频目标检测之对《我要打篮球》视频段进行实时目标检测
DL之Yolov3:基于深度学习Yolov3算法实现视频目标检测之对<我要打篮球>视频段进行实时目标检测 目录 输出结果 设计思路 核心代码 相关文章 成功解决AttributeError ...
- MAML-Tracker:用目标检测思路做目标跟踪?小样本即可得高准确率丨CVPR 2020
来源 | 微软研究院AI头条(ID: MSRAsia) 编者按:目标检测与目标跟踪这两个任务有着密切的联系.针对目标跟踪任务,微软亚洲研究院提出了一种通过目标检测技术来解决的新视角,采用简洁.统一而高 ...
- CVPR 2020丨MAML-Tracker: 用目标检测思路做目标跟踪? 小样本即可得高准确率
编者按:目标检测与目标跟踪这两个任务有着密切的联系.针对目标跟踪任务,微软亚洲研究院提出了一种通过目标检测技术来解决的新视角,采用简洁.统一而高效的"目标检测+小样本学习"框架,在 ...
- 目标检测随笔1——目标检测简要综述
车牌识别demo网址 http://www.openalpr.com/demo-image.html 以下转自: http://imbinwang.github.io/blog/object-dete ...
最新文章
- sketch如何做设计稿交互_交互设计师是做什么的——交互设计的历史、现状和未来...
- 如何看待矿池抽税激励社区开发者?如何看待EOS?——BCH极客大赛江卓尔专访
- 导出Excel出现“异常来自 HRESULT:0x800A03EC”错误的解决方法(已验证)
- JZOJ 5923. 【NOIP2018模拟10.23】Bomb
- L1-044 稳赢 (15 分)—团体程序设计天梯赛
- 采用状态空间法求解八数码问题
- 电脑开机进入setup的四种界面介绍
- 百度股市通如何实现智能选股?
- li标签中hover的使用及li标签的样式
- HTTPClient模拟登陆开心网001
- 网页使用中文字体的两种解决方案
- html点击图片弹出模态框,JS实现图片点击后出现模态框效果
- 什么是IDE,ATA,SATA,SCSI和SAS硬盘
- Spring IOC与DI、反射的理解 含小案例说明
- DynaTrace Ajax Edition:IE浏览器性能分析工具
- Java8 官方jvm 标准参考 -XX 配置参数详细信息
- 没基础不用怕,零基础无需任何技术学重装电脑系统
- MQ队列管理器搭建(一)
- 手机拨号按键歌曲谱子
- linux 获得磁盘 寻道时间,Linux入门篇 —— Linux 磁盘管理之磁盘理论篇 | 七日打卡...