视频地址：在公众号「3D视觉工坊」，后台回复「谷歌X实习生」，即可直接下载。

最近，谷歌X的实习生Bowen Wen新开源了用于6D物体姿态跟踪的代码BundleTrack，该工作已经被今年的IEEE/RSJ International Conference on Intelligent Robots and Systems(IROS)录用。其中Bowen Wen为该论文唯一学生作者，此前也是se(3)-TrackNet的第一作者（目前state of art的基于CAD模型的6D姿态跟踪算法），目前为美国Rutgers大学的在读博士，过去几年曾在Facebook Reality Labs, 亚马逊和商汤科技实习。

以下是新开源代码相关的论文、视频、代码、作者个人主页等信息

论文名称：BundleTrack: 6D Pose Tracking for Novel Objects without Instance orCategory-Level 3D Models

论文下载：

https://arxiv.org/pdf/2108.00516.pdf

代码链接：

https://github.com/wenbowen123/BundleTrack

作者Github主页：

https://github.com/wenbowen123

贡献

该开源项目主要贡献如下

1. 一个全新的6D物体姿态算法，不需要实例或类级别的CAD模型用于训练或测试阶段。该算法可立即用于新颖物体的6D姿态跟踪

2. 在NOCS数据集上的创下全新记录，将以往的表现从33.3%大幅度提升到87.4%。在YCBInEOAT数据集上也达到了跟目前基于CAD模型的领先方法se(3)-TrackNet相近的表现。特别值得注意的是，与以往state of art的6D物体姿态跟踪方法相比，BundleTrack并不需要类级别的物体进行训练，也不需要测试阶段物体的CAD模型作模板匹配，减少了很多假设。

3. 首次将具有记忆功能的位姿图优化引入6D物体姿态跟踪。除了相邻帧的匹配还能够借助带记忆功能的历史帧解决特征匹配不足和跟踪漂移问题。

4. 高效的CUDA编码，使得本来计算量庞大的位姿优化图能在线实时运行，达到10Hz。足够用于AR/VR，视觉反馈控制操纵，物体级SLAM或动态场景下的 SLAM等。

问题设置

对于需要6D跟踪的物体，该方法不需要任何类级别的CAD模型或者当前物体的CAD模型。所需要的输入只有（1）RGBD视频；（2）初始掩码，用于指定需要跟踪的物体。该掩码可以通过多种途径获得，例如语义分割，3D点云分割聚类，平面移除等等。该方法就能输出跟踪物体在相机前相对初始的6D姿态变换。

方法

1）总览

本文所提出的 BundleTrack 框架的概述如图. 当前观察到的 RGB-D 帧

谷歌最新开源BundleTrack: 无需任何CAD模型的6D物体姿态跟踪算法相关推荐

美国Rutgers大学最新开源：端到端6D物体姿态跟踪，无需标注数据集！
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达最近,美国Rutgers大学PRACSYS Lab新开源了用于6D物体姿态跟踪的代码Se(3)-Tra ...
BundleTrack：无需实例或类级别3D模型的6D姿态跟踪算法（IROS2021）
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达作者丨paopaoslam 来源丨泡泡机器人SLAM 标题:BundleTrack: 6D Pose ...
CNN 与 Transformer 的强强联合！谷歌最新开源 BoTNet，ImageNet 达 84.7%准确率
Conv+Transformer=BotNet,这是伯克利.谷歌最新提出的工作BotNet,它充分利用了CNN与自注意力的优势,在ImageNet上取得了84.7%的top1精度,同时文中各种实验分析 ...
谷歌最新开源前端框架了解一下？前端小白都能看懂的8本书
导读:跨平台.免费.开源,谷歌又搞"大新闻"?谷歌最新前端开发框架Flutter1.0版本已发布,可以极速构建漂亮的原生应用.各位前端大神都在用什么开发?下面八本书会帮助你快速入门 ...
最新综述：基于深度学习方式的单目物体姿态估计与跟踪
原文:Deep Learning on Monocular Object Pose Detection and Tracking: A Comprehensive Overview 作者:中国人民大学 ...
CVPR 2020｜开源实时“人手-物体”姿态估计算法HOPE-Net
向大家安利一篇CVPR 2020的论文 HOPE-Net: A Graph-based Model for Hand-Object Pose Estimation,基于自适应图卷积技术,作者提出了一种 ...
谷歌 | 最新110亿参数的T5模型17项NLP任务霸榜SuperGLUE！
新智元报道来源:github 谷歌在最新发布的论文<Exploring the Limits of Transfer Learning with a Unified Text-to-T ...
【干货】CNN与Transformer的强强联合！谷歌最新开源BoTNet，ImageNet达84.7%准确率
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达作者丨Happy 审稿|邓富城编辑丨极市平台本文是伯克利与谷歌的 ...
谷歌最新开源的工具可以自动化查找并修复 bug！
作者 | h4cd 本文经授权转自开源中国近日,谷歌开源了一个模糊测试基础设施--ClusterFuzz,可以非常简单地自动化查找并修复程序中的 bug. 模糊测试是一种用于自动化检测软件中存在的问 ...

谷歌最新开源BundleTrack: 无需任何CAD模型的6D物体姿态跟踪算法

贡献

问题设置

方法

谷歌最新开源BundleTrack: 无需任何CAD模型的6D物体姿态跟踪算法相关推荐

最新文章

热门文章