KITTI 相关信息汇总

Vision meets robotics: The KITTI dataset 论文链接
数据集下载地址

1 采集平台

采集车辆的各参数如下：

2 存储结构

这是老版本，现在会有细微的差别；

3 文件结构

3.1 calib

PiPiPi：第i个相机的内参；
R_rect：修正矩阵；
Tr_velo_cam：雷达到相机的外参；
Tr_imu_velo：imu到相机的外参；

P0: 7.215377000000e+02 0.000000000000e+00 6.095593000000e+02 0.000000000000e+00 0.000000000000e+00 7.215377000000e+02 1.728540000000e+02 0.000000000000e+00 0.000000000000e+00 0.000000000000e+00 1.000000000000e+00 0.000000000000e+00
P1: 7.215377000000e+02 0.000000000000e+00 6.095593000000e+02 -3.875744000000e+02 0.000000000000e+00 7.215377000000e+02 1.728540000000e+02 0.000000000000e+00 0.000000000000e+00 0.000000000000e+00 1.000000000000e+00 0.000000000000e+00
P2: 7.215377000000e+02 0.000000000000e+00 6.095593000000e+02 4.485728000000e+01 0.000000000000e+00 7.215377000000e+02 1.728540000000e+02 2.163791000000e-01 0.000000000000e+00 0.000000000000e+00 1.000000000000e+00 2.745884000000e-03
P3: 7.215377000000e+02 0.000000000000e+00 6.095593000000e+02 -3.395242000000e+02 0.000000000000e+00 7.215377000000e+02 1.728540000000e+02 2.199936000000e+00 0.000000000000e+00 0.000000000000e+00 1.000000000000e+00 2.729905000000e-03
R_rect 9.999239000000e-01 9.837760000000e-03 -7.445048000000e-03 -9.869795000000e-03 9.999421000000e-01 -4.278459000000e-03 7.402527000000e-03 4.351614000000e-03 9.999631000000e-01
Tr_velo_cam 7.533745000000e-03 -9.999714000000e-01 -6.166020000000e-04 -4.069766000000e-03 1.480249000000e-02 7.280733000000e-04 -9.998902000000e-01 -7.631618000000e-02 9.998621000000e-01 7.523790000000e-03 1.480755000000e-02 -2.717806000000e-01
Tr_imu_velo 9.999976000000e-01 7.553071000000e-04 -2.035826000000e-03 -8.086759000000e-01 -7.854027000000e-04 9.998898000000e-01 -1.482298000000e-02 3.195559000000e-01 2.024406000000e-03 1.482454000000e-02 9.998881000000e-01 -7.997231000000e-01

相机编号(和采集平台图中对应)

0	1	2	3
左边灰度相机	右边灰度相机	左边彩色相机	右边彩色相机

PiPiPi的12个参数表示3*4的内参矩阵：
[fu,o,cu,−fubx0,fv,cv,00,0,1,0]\begin{bmatrix}f_u, & o, & c_u, & -f_ub_x \\ 0, & f_v, & c_v, & 0 \\ 0, & 0, & 1, & 0\end{bmatrix}⎣⎡fu,0,0,o,fv,0,cu,cv,1,−fubx00⎦⎤其中b表示i号相机到0号相机的x方向上的偏移；

3.2 label

取label.txt中一段数据说明

0 -1 DontCare -1 -1 -10.000000 219.310000 188.490000 245.500000 218.560000 -1000.000000 -1000.000000 -1000.000000 -10.000000 -1.000000 -1.000000 -1.000000
0 -1 DontCare -1 -1 -10.000000 47.560000 195.280000 115.480000 221.480000 -1000.000000 -1000.000000 -1000.000000 -10.000000 -1.000000 -1.000000 -1.000000
0 0 Van 0 0 -1.793451 296.744956 161.752147 455.226042 292.372804 2.000000 1.823255 4.433886 -4.552284 1.858523 13.410495 -2.115488
0 1 Cyclist 0 0 -1.936993 737.619499 161.531951 931.112229 374.000000 1.739063 0.824591 1.785241 1.640400 1.675660 5.776261 -1.675458
0 2 Pedestrian 0 0 -2.523309 1106.137292 166.576807 1204.470628 323.876144 1.714062 0.767881 0.972283 6.301919 1.652419 8.455685 -1.900245
1 -1 DontCare -1 -1 -10.000000 228.120000 183.030000 258.830000 217.340000 -1000.000000 -1000.000000 -1000.000000 -10.000000 -1.000000 -1.000000 -1.000000
1 -1 DontCare -1 -1 -10.000000 59.210000 191.300000 137.370000 227.430000 -1000.000000 -1000.000000 -1000.000000 -10.000000 -1.000000 -1.000000 -1.000000
1 0 Van 0 0 -1.796862 294.898777 156.024256 452.199718 284.621269 2.000000 1.823255 4.433886 -4.650955 1.766774 13.581085 -2.121565
1 1 Cyclist 0 0 -1.935205 745.017137 156.393157 938.839722 374.000000 1.739063 0.824591 1.785241 1.700640 1.640419 5.778596 -1.664456
1 2 Pedestrian 0 0 -2.530402 1138.342096 160.872449 1223.338201 324.146788 1.714062 0.767881 0.972283 6.352093 1.593046 8.156156 -1.886840
2 -1 DontCare -1 -1 -10.000000 236.270000 175.500000 267.210000 211.030000 -1000.000000 -1000.000000 -1000.000000 -10.000000 -1.000000 -1.000000 -1.000000
2 -1 DontCare -1 -1 -10.000000 68.906000 183.810000 145.870000 224.020000 -1000.000000 -1000.000000 -1000.000000 -10.000000 -1.000000 -1.000000 -1.000000

第三行从左到右分别为：

0	0	van	0	0	-1.793451	(296.744956，161.752147)	(455.226042, 292.372804)	(2.000000, 1.823255, 4.433886)	(-4.552284, 1.858523, 13.410495)	-2.115488
帧序号	object序号	物体label	truncated(截断程度), 0表示无截断	occluded(遮挡率), 0表示无遮挡	观察角度	2D box左上角坐标	2D box右下角坐标	3D box高宽长	3D box在相机坐标系下的坐标	置信度

第3列（字符串）：代表物体类别（type）
总共有9类，分别是：Car、Van、Truck、Pedestrian、Person_sitting、Cyclist、Tram、Misc、DontCare。其中DontCare标签表示该区域没有被标注，比如由于目标物体距离激光雷达太远。为了防止在评估过程中（主要是计算precision），将本来是目标物体但是因为某些原因而没有标注的区域统计为假阳性(false positives)，评估脚本会自动忽略DontCare区域的预测结果。

第4列（浮点数）：代表物体是否被截断（truncated）
数值在0（非截断）到1（截断）之间浮动，数字表示指离开图像边界对象的程度。

第5列（整数）：代表物体是否被遮挡（occluded）
整数0、1、2、3分别表示被遮挡的程度。

第6列（弧度数）：物体的观察角度（alpha）
取值范围为：-pi ~ pi（单位：rad），它表示在相机坐标系下，以相机原点为中心，相机原点到物体中心的连线为半径，将物体绕相机y轴旋转至相机z轴，此时物体方向与相机x轴的夹角，如下图所示：

第5~8列（浮点数）：物体的2D边界框（bbox）
四个数分别是xmin、ymin、xmax、ymax（单位：pixel），表示2维边界框的左上角和右下角的坐标。

第9~11列（浮点数）：3D物体的尺寸（dimensions）
分别是高、宽、长（单位：米）

第12-14列（整数）：3D物体的位置（location）
分别是x、y、z（单位：米），特别注意的是，这里的xyz是在相机坐标系下3D物体的中心点位置。

第15列（弧度数）：3D物体的空间方向（rotation_y）
取值范围为：-pi ~ pi（单位：rad），它表示，在照相机坐标系下，物体的全局方向角（物体前进方向与相机坐标系x轴的夹角），如图1所示。

第16列（整数）：检测的置信度（score）

alpha和rotation_y的意义如下图所示：

3.3 OXTS (GPS/IMU)

取oxts.txt中一段数据说明，每行有30个数据

49.009114699152 8.4277389630271 116.58303070068 0.036638 0.013684 1.3010823267949 6.8832314819907 1.9460272233389 7.1529165825291 0.040971233707398 0.093882445413467 -0.242996591983 0.3501029713499 9.4741485510618 -0.10601684649139 0.017648806966298 9.4831818206735 0.027720655835503 -0.013474401799459 0.0019729707014843 0.027740200672815 -0.013532918387461 0.0010824976455362 0.2321314282901 0.042449970553582 4 5 0 4 0
49.009120892146 8.4277415865078 116.59078216553 0.038945 0.011252 1.3013883267949 6.8785435173899 1.9460475926178 7.1483939733637 0.043846401674619 0.080643500338903 -0.12579017230664 0.33999328995228 9.8066870019256 -0.003437982666314 -0.029775568485976 9.8134083470982 0.022644818463576 -0.021685302775763 0.0037362533910029 0.022678421466663 -0.021811369580412 0.002621767579788 0.2321314282901 0.042449970553582 4 5 0 4 0
49.009127704209 8.4277444896844 116.60201263428 0.041502 0.010059 1.3017483267949 6.8829439040031 1.944842177756 7.1522994288449 0.044093456422253 0.10254902244937 -0.038825564761278 0.46869343718326 10.001533426875 0.067874304050476 0.066296148268126 10.012262122894 0.023014173083424 -0.010565623860112 0.0033585764795818 0.023044132346267 -0.010691942841212 0.0026920817563433 0.2321314282901 0.042449970553582 4 5 0 4 0
49.009133909859 8.427747112789 116.61422729492 0.043106 0.010253 1.3017353267949 6.8927587589112 1.9393341177169 7.160291477638 0.037010344729645 0.11822909763978 -0.016043601194199 0.4806884703439 9.9180215284051 0.085760850812038 0.062009612060247 9.9291369714008 0.016284457885313 2.42276830108e-05 0.00063000518385319 0.016290374865292 -1.3505203285655e-06 0.00046976355342155 0.2321314282901 0.042449970553582 4 5 0 4 0
49.009140120615 8.4277497438442 116.62739562988 0.043869 0.011331 1.3015993267949 6.9007612435771 1.9388598184373 7.1678804874857 0.034261181954541 0.13051027269613 -0.03463106198684 0.36879541871014 9.9214102776277 0.072945024289963 -0.06086849414433 9.9278295925464 0.010355211915844 0.0086741551160293 -0.0017175743443321 0.010339606726943 0.0087413496143457 -0.0014489654931837 0.2321314282901 0.042449970553582 4 5 0 4 0

30个数据的意义如下：

lat: latitude of the oxts-unit (deg)
lon: longitude of the oxts-unit (deg)
alt: altitude of the oxts-unit (m)
roll: roll angle (rad), 0 = level, positive = left side up (-pi…pi)
pitch: pitch angle (rad), 0 = level, positive = front down (-pi/2…pi/2)
yaw: heading (rad), 0 = east, positive = counter clockwise (-pi…pi)
vn: velocity towards north (m/s)
ve: velocity towards east (m/s)
vf: forward velocity, i.e. parallel to earth-surface (m/s)
vl: leftward velocity, i.e. parallel to earth-surface (m/s)
vu: upward velocity, i.e. perpendicular to earth-surface (m/s)
ax: acceleration in x, i.e. in direction of vehicle front (m/s^2)
ay: acceleration in y, i.e. in direction of vehicle left (m/s^2)
az: acceleration in z, i.e. in direction of vehicle top (m/s^2)
af: forward acceleration (m/s^2)
al: leftward acceleration (m/s^2)
au: upward acceleration (m/s^2)
wx: angular rate around x (rad/s)
wy: angular rate around y (rad/s)
wz: angular rate around z (rad/s)
wf: angular rate around forward axis (rad/s)
wl: angular rate around leftward axis (rad/s)
wu: angular rate around upward axis (rad/s)
posacc: velocity accuracy (north/east in m)
velacc: velocity accuracy (north/east in m/s)
navstat: navigation status
numsats: number of satellites tracked by primary GPS receiver
posmode: position mode of primary GPS receiver
velmode: velocity mode of primary GPS receiver
orimode: orientation mode of primary GPS receiver

3.4 velodyne

激光雷达的测量数据（绕其垂直轴（逆时针）连续旋转）

7b14 4642 1058 b541 9643 0340 0000 0000
46b6 4542 1283 b641 3333 0340 0000 0000
4e62 4042 9643 b541 b072 0040 cdcc 4c3d
8340 3f42 08ac b541 3bdf ff3f 0000 0000
e550 4042 022b b841 9cc4 0040 0000 0000
10d8 4042 022b ba41 4c37 0140 0000 0000
3fb5 3a42 14ae b541 5a64 fb3f 0000 0000

点云中的点用浮点二进制文件格式存储，每行包含8个数据，每个数据由四位十六进制数表示（浮点数），每个数据通过空格隔开。
一个点由四个浮点数数据构成，分别表示点云的x、y、z、r（强度 or 反射值），即一行表示两个点云数据；

3.5 image

图片信息用8bit PNG格式无损保存；

4 Development kit评测

给了一些可能需要的功能，以后用到再说

5 数据集构成

左上：数据集中各种元素的分布，车辆和行人最多；
右上：车辆和行人被遮挡和截断的比例；遮挡情况居多；
左下：车辆朝向数量分布；
右下：行人朝向分布；
上表主要说明了数据集中的成分，以及车辆和新人两个主要分布的信息；

八种成分的数量分布，六种低频成分的数目一般每帧不会超过5个，而车辆和行人的数目最高可达12-15；

一：帧的速度分布，较为均匀，高速场景相对少一些；
二：帧的加速度分布，加速分布较为均匀，缓慢减速数量较多；
三：序列长度分布，大多数在400帧以下；
四：场景类型分布；

各个场景下的加速度，速度，各类目标的分布，左边四个为驾驶场景；