一种事件相机描述子——DART
点击上方“3D视觉工坊”,选择“星标”
干货第一时间送达
一、背景知识
在物体分类、目标跟踪等问题下,我们经常需要提取物体的一些特征。传统图像中常使用描述子(例如BRIEF)等对某个特征点(FAST或Harris角点)等进行描述,进而通过特征匹配的方式进行跟踪,或利用机器学习的方式完成物体分类等任务。
然而对于事件相机而言,其数据是以数据流的形式到来的,且没有完整的图像信息。所以如何描述事件流中的一个特征点,一直是一个难题也算是一个空白。近期的一篇论文:”DART: Distribution Aware Retinal Transform for Event-based Cameras”提出了一种DART描述子,用于对事件流中的数据进行描述。
二、DART描述子
下图直观的表示了DART的基本原理。以时间轴上一个最新的事件为圆心,绘制多个同心圆并分成多个扇形/圆弧区域,依次记录一段儿时间内的事件发生的坐标所在区域,形成DART描述子。
具体而言,圆弧半径以指数形式增加,第个半径的表达式为:
其中分别是最大最小半径,为设定的圆的数量。同时每个圆环等分成多份(图中为3个圆环8个半径,总共bin的数量为24)。
我们获取每个圆弧的中心,当某一个事件投射到这个类似于极坐标的平面时,会对距离最近的4个圆弧中心进行投票,距离越近得分越高。如下图所示:
某个事件落入4个圆弧中心形成的四边形中,距离越远圆弧中心得分越小(右)
当我们把一段儿时间内的事件全部投影过来,便得到了全部圆弧中心的分数。把这些分数按照一定顺序依次进行排列(例如半径从小到大,角度从0到360度),得到一个序列,这个序列就是DART描述子。
论文指出,典型的取值是:选取10个同心圆,每个均分成12份,形成120个bin,而描述子的长度取,其中根据情况取值0.1~0.4。
三、降噪
由于事件相机数据具有一定的噪声,直接采用这样的描述子必然包含了大量的噪声。论文采用了两种滤波:nearest neighbor filtering(最近邻滤波)和refractoryfiltering(不知如何翻译贴切,含义请看下面解释)
采用两种滤波的思想依据是,事件的产生是由于边缘的运动,所以这个边缘附近不应该存在其它的数据,由此当一个事件发生时,我们认为在最近邻8个像素内产生的事件是噪声,由此产生了最近邻滤波;同时我们认为同一个像素不可能在短时间内产生两次触发事件,由此在一段儿时间内同一个像素的第二个事件也会被滤波掉,由此是refractory filtering。refractory可翻译为倔强,这个滤波可以认为是同一个像素它不会快速产生两次事件。
四、应用
既然有了描述子,我们就可以像传统图像领域使用那样,使用事件相机的描述子。对于物体分类而言,先通过训练集进行训练,之后可以进行物体分类,例如使用N-MNIST数据集进行分类,显然正确率随字典的增大而提高。
或者进行物体跟踪,跟踪时涉及到了特征匹配,文章发现DART描述子度旋转、尺度变换、视角变换有一定的鲁棒性:
文章中还给出了一种长距离物体跟踪的算法,感兴趣的可以进一步了解。
五、总结
在特征点的选择上,文章并没有清晰地提出如何选择特征点,但其实事件相机的特征点早就有了研究,例如事件相机角点检测,从原理到demo。可以结合任意一种特征点提取的方式,然后计算DART描述子,实现其他任务。
本推送的作者认为,这种描述子在设计上,并没有考虑旋转、尺度、视角的不变性,而且在匹配时并没有提出新的特征匹配方法所以可以认为还是使用了传统的匹配,并不是严格的对这些变换不敏感。但本文作者指出,由于这种对数半径和极坐标网格的方式(有一定的区域面积),使这个描述子对尺度、旋转有一定不敏感。
但总得来说,我也是第一次看到事件相机的描述子,感觉从时间轴上进行投影并且结合降噪的方式,还是挺有新意。今后如果能出现从设计原理上变考虑了旋转、尺度等因素的描述子,那么应用场景将更为广阔,一起期待。
本文仅做学术分享,如有侵权,请联系删文。
推荐阅读:
吐血整理|3D视觉系统化学习路线
那些精贵的3D视觉系统学习资源总结(附书籍、网址与视频教程)
超全的3D视觉数据集汇总
大盘点|6D姿态估计算法汇总(上)
大盘点|6D姿态估计算法汇总(下)
机器人抓取汇总|涉及目标检测、分割、姿态识别、抓取点检测、路径规划
汇总|3D点云目标检测算法
汇总|3D人脸重建算法
那些年,我们一起刷过的计算机视觉比赛
总结|深度学习实现缺陷检测
深度学习在3-D环境重建中的应用
汇总|医学图像分析领域论文
大盘点|OCR算法汇总
重磅!3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会(ICRA/IROS/ROBIO/CVPR/ICCV/ECCV等)、顶刊(IJCV/TPAMI/TIP等)、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群,目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流等微信群,请扫描下面微信号加群,备注:”研究方向+学校/公司+昵称“,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
3D视觉从入门到精通知识星球:针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,近1000+星球成员为创造更好的AI世界共同进步,知识星球入口:
学习3D视觉核心技术,扫描查看介绍,3天内无条件退款
圈里有高质量教程资料、可答疑解惑、助你高效解决问题
一种事件相机描述子——DART相关推荐
- 事件相机特征跟踪-概率数据关联法
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 1.前言 在特征跟踪时,有一个重要的概念是数据关联(Data Association).所谓数据关联, ...
- 即将开源STD:用于3D位置识别的稳定三角形描述子
文章:STD: Stable Triangle Descriptor for 3D place recognition 作者:Chongjian Yuan, Jiarong Lin , Zuhao Z ...
- opencv python BRIEF描述子
BRIEF (Binary Robust Independent Elementary Features) 理论 我们知道SIFT使用128-dim向量作为描述符,由于它使用浮点数,因此基本上需要51 ...
- sift匹配描述子距离判断选择更好的匹配点
opencv中自带的sift函数,就不过多解释了. 网上太多的大咖,已经都快写烂了,各种函数调用很简单的啦.下面我说一种关于,描述子匹配时,距离判断从而选择更加优良的点! #include<op ...
- ZippyPoint: 一种基于学习的特征点提取+二进制描述子,速度提升5倍+,为移动平台提供一种ORB的替代方案...
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 作者丨Realcat 来源丨 计算机视觉SLAM 作者来自ETHZ Computer Vision实验 ...
- M2DP:一种新的三维点云描述子及其在回环检测中的应用
文章:M2DP: A Novel 3D Point Cloud Descriptor and Its Application in Loop Closure Detection 作者:Li He , ...
- ehd边缘直方图描述子 matlab,一种新的图像空间特征提取方法
计 算 机 工 程第卷 第3期 38 Computer EngineeringV ol.38 No.3 文章编号:1000-3428(2012)03-0218-03·图形图像处理· 2012年2月 F ...
- SLAM--PL-SLAM中基于线特征的初始化方法(LSD算法,LBD描述子,计算R和t)
SLAM中基于线特征的初始化方法 线特征的初始化 直线段检测算法---LSD:a Line Segment Detector 描述子---LBD:Line detection and descript ...
- 基于点云描述子的立体视觉里程计快速鲁棒的位置识别方法
点云PCL免费知识星球,点云论文速读. 文章:A Fast and Robust Place Recognition Approach for Stereo Visual Odometry Using ...
最新文章
- Huggingface及BERT代码介绍
- 人脸识别数据集精粹(下)
- 教程 | 如何在手机上使用TensorFlow
- 113. Leetcode 674. 最长连续递增序列 (动态规划-子序列问题)
- 30岁面霸IT男30次面试失败经历
- rasa聊天机器人_Rasa-X是持续改进聊天机器人的独特方法
- VideoUrlParser视频信息分析
- TP5.1 查询数据库中上一条和下一条记录
- 卷积神经网络架构理解
- MegaCli查看RIAD相关信息
- TDS、NET-Library和网络协议
- python app逆向_python之app逆向破解data参数中的PassWord DES加密无填充
- Unity官方中文网站
- 云计算之IasS、PasS、SaaS
- PowerDesigner16.7详细安装下载以及简要使用
- 百度指数邀请序列号_微信指数如何收录关键词
- 用html做成的音频播放器,HTML5制作酷炫音频播放器插件图文教程
- mysql运行语句时出现 FUNCTION *** does not exist
- 如何推动智慧交通普惠发展 | 工信部印发民用无人机《指导意见》
- Linux各发行版的前世今生