RGB-D dataset

2012年ACCV《Model Based Training, Detection and Pose Estimation of Texture-Less 3D Objects in Heavily Cluttered Scenes 》公布了一个数据库，该数据库可用于Pose tracking方面的测试。这篇博客主要介绍一下这个数据库，以及使用该数据库时的注意事项。

数据库下载地址：http://campar.in.tum.de/Main/StefanHinterstoisser

该数据库包含了15个texture-less不同物体的RGB图像、每幅图像的深度信息以及对应的3D Ground truth姿态，每个物体超过1000幅图像。打开每个物体的压缩包，我们会发现以下文件：

[1] 文件夹data 该文件夹包含物体的RGB-D图像，深度数据(如depth0.dpt)，平移姿态参数(如tra0.tra)，旋转姿态参数(如rot0.rot) 4种类型的数据；

[2] mesh.ply 该文件存储的物体的3D模型，可以通过Blender软件打开，关于3D模型.ply文件的格式可以参考以下链接http://zh.wikipedia.org/wiki/PLY；

[3] object.xyz 该文件内存储的物体的3D点云，是一个比较粗糙的3D模型；

[4] Oldmesh.ply 该文件内也是保存的物体的3D模型，该文件与mesh.ply有些不同，其3D点的坐标以及法向量是对应摄像机坐标系的，而mesh.ply是对应世界坐标系(物体坐标系)的。

我们在使用这个数据库时，应该注意以下几点：

1. Ground truth pose parameters 是对应mesh.ply文件中的3D模型的，而不是Oldmesh.ply的；当然，也对应object.xyz内的3D点云。

在使用Ground truth pose parameters时，应该注意的是，平移姿态参数的单位，文件中tra*.tra的数值单位是cm，而mesh.ply中点的坐标单位是mm，因此，应该首先将平移姿态参数数值乘以10(cm->mm)。旋转矩阵没有单位，所以不用考虑。以ape数据第一帧投影为例，投影之后的结果：

2. 深度数据文件depth*.dpt，作者提供了读这种文件的函数，函数中没有使用opencv较新的版本，可以考虑将IplImage类改成Mat类，链接http://campar.in.tum.de/personal/hinterst/index/downloads!09384230443!/loadDepth.txt。文件中的数据单位为mm，可以统一缩放至[0,255]，便于可视化。

3. 经过实验发现，mesh.ply+GT pose，投影之后得到的物体轮廓并不完全与物体重合，有较小的偏差，这是由于作者在标Ground Truth时采用的KinectFusion方法，该方法计算姿态参数存在不精确性。

4. 作者提供的txt文件中明确指出，RGB图像与深度数据已经配准了，不需要再进行此操作。

RGB-D dataset相关推荐

vscode配置记录
vscode配置记录按照官网教程安装好vs:实际上只需要配置launch.json的"program"如下所示 "configurations": [{&qu ...
迁移性好、多用途，港中文提出特征分离的无监督人类三维姿态表征
来源 | 我爱计算机视觉(ID:aicvml) 本文将介绍一种基于特征分离的通用人类姿态特征的学习算法 Unsupervised Human 3D Pose Representation with V ...
【转】【C#】使用fo-dicom完成BMP，JPG，PNG图片转换为DICOM文件
转自:https://developer.aliyun.com/article/672065 最近研究了一下DICOM和BMP文件转换的问题,也是很头大.度娘了很久,也在CSDN等论坛看到一些断断续续 ...
迁移性好、多用途，港中文提出特征分离的无监督人类三维姿态表征
本文将介绍一种基于特征分离的通用人类姿态特征的学习算法 Unsupervised Human 3D Pose Representation with Viewpoint and Pose Disent ...
c#如何wmf图片转换成png图片_【C#】使用fo-dicom完成BMP，JPG，PNG图片转换为DICOM文件-阿里云开发者社区...
最近研究了一下DICOM和BMP文件转换的问题,也是很头大.度娘了很久,也在CSDN等论坛看到一些断断续续的文件,最主要的是代码只是片断,不是完整的实现.头大了. 首先,了解一下BMP文件格式,BMP ...
第05章深度卷积神经网络模型
序言 1. 内容介绍本章介绍深度学习算法-卷积神经网络用于图片分类的应用,主要介绍主流深度卷积神经网络 (CNN) 模型,包括 ResNet DenseNet SeNet 的算法模型.数学推 ...
关于NTU-RGB+D数据集skeleton数据
关于NTU-RGB+D数据集skeleton数据本人最近在做相关的研究,分享一下关于此数据集的经验. 这个数据集是来源于南洋理工大学的ROSE实验室,16年出了60种动作,后来又新增了60种,成为N ...
读取NTU-RGB-D数据集并利用关节信息生成gif
一.读取NTU-RGB-D数据集本文基于matlab2016实现.并需要先下载NTU-RGB-D数据集,打开下载的压缩包得到的是一组后缀名为skeleton 的文件,如图1.1所示图1.1 NT ...
计算机视觉数据集大全 - Part2
转载自http://homepages.inf.ed.ac.uk/rbf/CVonline/Imagedbase.htm Index by Topic Action Databases Agricul ...
【论文翻译】An Attention Enhanced Graph Convolutional LSTM Network for Skeleton-Based Action Recognition
An Attention Enhanced Graph Convolutional LSTM Network for Skeleton-Based Action Recognition 基于骨架的注意 ...

RGB-D dataset

RGB-D dataset相关推荐

最新文章

热门文章