Deecamp笔记——点云目标跟踪 Open3D连续可视化

点云目标跟踪 & Open3D可视化

本文是基于AB3DMOT进行的改编及应用，楼主在参加创新工场Deecamp时使用该方法使基于Det3D的目标检测效果smooth and visualized.

论文名称：《A Baseline for 3D Multi-Object Tracking》（AB3DMOT）
论文地址：https://arxiv.org/pdf/1907.03961.pdf
论文Github项目地址：https://github.com/xinshuoweng/AB3DMOT
本文Github项目地址：Deecamp_AB3DMOT

数据读取

Deecamp所使用的是Momenta的128线激光雷达数据集，目标检测输出的数据结构为：

label	3d bbox	angle	score
Pedestrian/Car/Cyclist/Truck/Tricar	x,y,z,l,w,h	alpha_y	score

由于输出结果每一帧为一个独立文件，因此数据读取修改如下：

dets = seq_dets[:,1:8]ori_array = seq_dets[:,-1].reshape((-1, 1))other_array = seq_dets[:,0:6]additional_info = np.concatenate((ori_array, other_array), axis=1)dets_all = {'dets': dets, 'info': additional_info}

（由于所用数据与原文数据只有2D信息的差别，数据接口改变较为容易，后续会将tracking加入到eval中进行实时输入与输出（loading））

Open3D

此次尝试选用的是Open3D进行可视化操作
安装和具体函数使用可见文档 http://www.open3d.org/docs/release/

Open3D python版本安装

部分blog会建议使用

pip install open3d-python

但是！！！！！！！
open3d-python版本最新只有到0.7.0，部分module无效，建议使用：

pip install open3d==0.10.0（版本号）or
conda install -c open3d-admin open3d

Open3D可视化

先定义window以及visualizer等

  vis = o3d.visualization.Visualizer()vis.create_window()opt = vis.get_render_option()opt.background_color = np.asarray([0, 0, 0])opt.point_size = 1opt.show_coordinate_frame = True

读取显示点云

file_name = seq_name + ".bin"v_f = os.path.join(os.path.dirname(os.path.abspath(__file__)),"/path/to/pointcloud", file_name)pcs = load_pc_from_file(v_f)pcs = np.array(pcs[:, :3])pcobj = o3d.geometry.PointCloud()pcobj.points = o3d.utility.Vector3dVector(pcs)vis.add_geometry(pcobj)

循环进入跟踪后结果进行输出

for d in trackers:xyz = np.array([d[: 3]])hwl = np.array([d[3: 6]])r_y = [d[6]]pts3d = compute_3d_box_lidar_coords(xyz, hwl, angles=r_y, origin=(0.5, 0.5, 0.5), axis=2)lines = [[0, 1], [1, 2], [2, 3], [3, 0],[4, 5], [5, 6], [6, 7], [7, 4],[0, 4], [1, 5], [2, 6], [3, 7]]colors = [[1, 0, 1] for i in range(len(lines))]line_set = o3d.geometry.LineSet()line_set.points = o3d.utility.Vector3dVector(pts3d[0])line_set.lines = o3d.utility.Vector2iVector(lines)line_set.colors = o3d.utility.Vector3dVector(colors)vis.add_geometry(line_set)

若连续可视化需要清除内容

vis.clear_geometries()

可视化效果如下所示

Edit

使用

vis.add_geometries()

之后由于当前ubuntu16限制，没有办法将open3d提升至0.10.0版本，无法进行视角变化，因此使用下列方法将视角变为自由模式，可以通过拖动和滚轮调整视角。

通过判断当前line_set的值进行update

if line_set[index].has_lines():line_set[index].points = o3d.utility.Vector3dVector(pts3d[0])line_set[index].lines = o3d.utility.Vector2iVector(lines)line_set[index].colors = o3d.utility.Vector3dVector(line_colors)vis.update_geometry(line_set[index])else:line_set[index].points = o3d.utility.Vector3dVector(pts3d[0])line_set[index].lines = o3d.utility.Vector2iVector(lines)line_set[index].colors = o3d.utility.Vector3dVector(line_colors)vis.add_geometry(line_set[index])

点云也是一样

if pcobj.is_empty():pcobj.points = o3d.utility.Vector3dVector(pcs[:, 0:3])vis.add_geometry(pcobj)else:pcobj.points = o3d.utility.Vector3dVector(pcs[:, 0:3])vis.update_geometry(pcobj)

最终可以得到下面的效果：

【无人驾驶】3D目标识别效果

可视化效果还不够好，欢迎沟通~