CenterNet-TensorRT 3D Detection

点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

作者丨Panzerfahrer@知乎

来源丨https://zhuanlan.zhihu.com/p/146910977

0. 前言

论文、代码地址：在公众号「3D视觉工坊」，后台回复「CenterNet」，即可直接下载。

1. CenterNet-TensorRT-3D

在网上找了半天也没找到符合这套工具链的开源代码，大多是2D detection和 pose estimation相关, 索性就自己写了一个, 其实大部分代码是参考Cao 写的 TensorRT-CenterNet, 主要是用来测试速度和性能的, 这里主要是基于kitti图像数据集的, 其实步骤都很清晰:

1.1 将训练好的 ddd_3dop.pth 模型导出为 ddd_3dop.onnx 格式;

1.2 解析 ddd_3dop.onnx 构建推理引擎并保存成 ddd_3dop.engine 的格式;

1.3 TensorRT构建引擎, 做推理;

2. 使用

2.1 下载模型文件 ddd_3dop.pth , 下载链接：https://github.com/xingyizhou/CenterNet/blob/master/readme/MODEL_ZOO.md

2.2 将模型转换为 onnx 格式, 详细操作可以看仓库目录下的 ./readme/ctddd2onnx.md, 可以用模型可视化软件 netron , 看转换出的模型输出维度是否包含如下信息 (('hm', 3), ('dep', 1), ('rot', 8), ('dim', 3), ('wh', 2), ('reg', 2)) , hm代表人车骑自行车的人三类, dep代表深度, rot 代表论文中的8个值, dim代表hwl尺寸, wh和reg是2d框回归出来的size和offset, 导出的模型如下图所示:

2.3 文件 `./src/CMakeLists.txt` 中设置 OPENCV 路径 , 文件`./CMakeLists.txt` 设置

2.4 注释掉文件 `./include/ctdetConfig.h` 中除了3d detection相关的配置

2.5 编译

git clone https://github.com/Qjizhi/TensorRT-CenterNet-3D.git
cd TensorRT-CenterNet-3D
mkdir build
cd build && cmake .. && make
cd ..

2.6 构建引擎及推理
根目录下运行:

./buildEngine -i model/ddd_3dop.onnx -o model/ddd_3dop.engine
./runDet -e model/ddd_3dop.engine -i 000292.png -c test.h264

3. 效果

再加两张测试：

4. 想法

模型对相机内参敏感, 包括焦距,像素等等, 所以一个模型一般只适用于一台摄像头;

3D 检测的朝向不准, 尤其是行人的朝向,车和自行车的还可以 ;

经过TensorRT加速，速度从0.227s 加速到 98.89ms，2d detection的速度大概在50-60ms(本机显卡 M4000)；

本文仅做学术分享，如有侵权，请联系删文。

下载1

在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。

下载2

在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。

下载3

在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

圈里有高质量教程资料、可答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~