使用DOPE进行3D物体姿态估计

ISAAC教程合集地址: https://blog.csdn.net/kunhe0512/category_12163211.html

深度对象姿态估计 (DOPE:Deep Object Pose Estimation) 从单个 RGB 图像执行已知对象的检测和 3D 姿态估计。它使用深度学习方法来预测对象 3D 边界框的角点和质心的图像关键点，并使用 PnP 后处理来估计 3D 姿态。该算法不同于现有的Pose CNN模型；因此，它为 Isaac SDK 中的 3D 姿势估计工具集提供了更多多样性。

推理

Isaac SDK 包支持使用 TensorRT 的 DOPE 推理和使用 DopeDecoder codelet 的 C++ 后处理。每个 DOPE 网络模型都支持检测单个对象类的多个实例。

以下命令使用默认示例模型（在 OpenImages v4 上预训练 VGG19）和图像运行涂料推理应用程序以检测 YCB 对象破解器 (003_cracker)：

bob@desktop:~/isaac/sdk$ bazel run packages/object_pose_estimation/apps/dope:dope_inference

在 localhost:3000 打开 Sight 以查看结果。

使用 Realsense 摄像头使用命令实时运行推理：

bob@desktop:~/isaac/sdk$ bazel run packages/object_pose_estimation/apps/dope:dope_inference -- --mode realsense

对其他 YCB 对象的推理
Deep_Object_Pose github 为额外的 YCB 对象提供预训练的 torch 模型（请注意，这些模型使用在 ImageNet 上预训练的 pytorch model zoo 中的 VGG19）。要使用不同的模型运行推理应用程序，请将番茄汤 (YCB 005_tomator_soup_can) 的权重从 Deep_Object_Pose github 下载到 /tmp/soup_60.pth。使用以下命令将torch模型转换为 ONNX 模型：

bob@desktop:~/isaac/sdk$ bazel run packages/object_pose_estimation/apps/dope:dope_model -- --input /tmp/soup_60.pth

这会在 /tmp/soup_60.onnx 中生成 ONNX 模型。将推理应用程序与此模型结合使用：

bob@desktop:~/isaac/sdk$ bazel run packages/object_pose_estimation/apps/dope:dope_inference -- --mode realsense --model /tmp/soup_60.onnx --box 0.06766 0.102 0.0677 --label soup

请注意，新对象的 3D 边界框大小必须与 --box 一起提供，作为 DopeDecoder Codelet 执行 PnP 的输入。 YCB 模型的边界框大小可以在 Deep_Object_Pose 配置或 YCB 论文中找到。

训练

DOPE 训练目前不是 Isaac SDK 的一部分。参考Deep_Object_Pose github scripts/train.py中的torch训练脚本。

对于托管在 Deep_Object_Pose github 上的任何预训练模型，或使用 Deep_Object_Pose github 中的训练脚本训练的模型，请使用：

bob@desktop:~/isaac/sdk$ bazel run packages/object_pose_estimation/apps/dope:dope_model -- --input <path to torch model>

将torch模型转换为 ONNX 模型以与 Isaac SDK 的 DOPE 推理管道一起使用。

要使用自定义对象进行训练，请参阅 Omniverse Isaac Sim 的合成数据生成工具。 FAT 数据集中指定了离线训练数据格式。

更多精彩内容:
https://www.nvidia.cn/gtc-global/?ncid=ref-dev-876561

41.Isaac教程--使用DOPE进行3D物体姿态估计相关推荐

重磅直播|GDR-Net：基于几何信息指导的单目6D物体姿态估计算法（CVPR2021作者开讲啦）...
大家好,本公众号现已开启线上视频公开课,主讲人通过B站直播间,对3D视觉领域相关知识点进行讲解,并在微信群内完成答疑. 本期由清华大学自动化系BBNC Lab王谷博士分享,分享的主题为<基于几何 ...
基于视觉的机器人抓取：从物体定位、物体姿态估计到平行抓取器抓取估计
编者荐语抓取综合方法是机器人抓取问题的核心,本文从抓取检测.视觉伺服和动态抓取等角度进行讨论,提出了多种抓取方法. 转载自丨3D视觉开发者社区目录 / contents 1. 引言 1.1 抓 ...
视频中的3D人体姿态估计(3D human pose estimation in vide)--------Facebook research: VideoPose3D
视频中的3D人体姿态估计(3D human pose estimation in video) 解读Facebook AI Research in CVPR2019: <3D human pos ...
ECCV 2022 | 从单目RGB图像中进行类别级6D物体姿态估计的物体级深度重构
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达题目:Object Level Depth Reconstruction for Category Leve ...
自监督3D手部姿态估计方法
作者 | 镜子@知乎来源 | https://zhuanlan.zhihu.com/p/446726196 编辑 | 极市平台导读手部姿态估计任务作为一个对空间信息敏感的下游任务,任何改变空间信 ...
PoseFormer：首个纯基于Transformer的 3D 人体姿态估计网络，性能达到 SOTA
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达本文分享一篇 52CV 粉丝的论文『3D Human Pose Estimation with Spa ...
ECCV 2020 论文大盘点-3D人体姿态估计篇
本文盘点ECCV 2020 中所有与3D姿态估计(3D Human Pose Estimation)相关的论文,总计 14 篇,其中一篇Oral 论文,7 篇已经或者将开源代码. 下载包含这些论文的 ...
CVPR 2020｜开源实时“人手-物体”姿态估计算法HOPE-Net
向大家安利一篇CVPR 2020的论文 HOPE-Net: A Graph-based Model for Hand-Object Pose Estimation,基于自适应图卷积技术,作者提出了一种 ...
3D人体姿态估计论文汇总（CVPR/ECCV/ACCV/AAAI）
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达作者:Vegetabird | 来源:知乎 https://zhuanlan.zhihu.com/p/ ...

41.Isaac教程--使用DOPE进行3D物体姿态估计

使用DOPE进行3D物体姿态估计

推理

训练

41.Isaac教程--使用DOPE进行3D物体姿态估计相关推荐

最新文章

热门文章