TensorRT 环境搭建记录

文章目录

TensorRT 环境搭建记录
- 1.TensorRT介绍
- 2.使用TensorRT总目标
- 3.Centos下TensorRT环境搭建（Ubuntu一样）
- 4.TX2安装TensorRT
- 5.TensorRT安装问题
- 参考

1.TensorRT介绍

NVIDIA-TensorRT的核心是一个利用NVIDIA的GPU来促进高效推理的C++库。TensorRT从一个包含网络定义和一系列网络参数的已经训练好的网络中产生一个高度优化的运行引擎，来执行网络的推理，更加高效的使用GPU，主要提供边缘设备的加速计算。

TensorRT提供了C++和python的接口来通过网络定义接口的方式使用深度学习模型，或者通过解析器来加载一个预训练的模型，能够让TensorRT在NVIDIA GPU上来优化和运行。TensorRT在其他各种优化中选择了图优化，层融合，也利用多种高度优化的内核的结合发现了最快的执行模型的方式。TensorRT也提供了运行环境，你可以使用TensorRT在Kepler一代开始所有的NVIDIA的GPU上执行网络。

2.使用TensorRT总目标

使用pytorch训练好的模型转成onnx模型，然后保证onnx模型和pytorch模型的结果一致然后在把onnx模型转成TensorRT支持的模型，或者直接使用TensorRT的parser对onnx模型进行推理运算
使用TensorRT的C++ API在TX2上跑分类模型、检测模型以及分割模型

实验环境：Centos-7.4 CUDA-10.1 cudnn-7.6.4 TensorRT-5.1.5.0
移动设备：jetson-tx2 JETPACK-4.2.2 TensorRT-5.1.6.0
模型选择：resnet-18 UltraFace ENet

3.Centos下TensorRT环境搭建（Ubuntu一样）

下载TensorRT地址： https://developer.nvidia.com/tensorrt
下载对应你版本的TensorRT的tar包
- 查看cuda版本：nvcc -V
- 查看系统版本：uname -a； lsb_release -a; cat /etc/redhat-release(centos)
安装TensorRT
- tar -xvf TensorRT-5.1.5.0.CentOS-7.6.x86_64-gnu.cuda-10.1.cudnn7.6.tar
- 修改bashrc，改完别忘了source
  - export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:TensorRT-5.1.5.0/lib
  - export CUDA_INSTALL_DIR=/usr/local/cuda-10.1
  - export CUDNN_INSTALL_DIR=/usr/local/cudnn/lib
- cd samples; make [编译]
- cd …/bin; ./sample_int8 mnist [测试]

上图可以发现int8之后模型推理时间快了40~50ms，如果是大模型效果会更明显

python安装TensorRT
- pip install TensorRT-6.0.1.5/python/tensorrt-6.0.1.5-cp37-none-linux_x86_64.whl
- 对应你的python版本来安装
- 验证安装成功 python -c “import tensorrt;print(tensorrt.version)”

4.TX2安装TensorRT

TX2直接安装JETPACK就可以，这里面自带的TensorRT，我的安装截图如下：

5.TensorRT安装问题

如果没有指定CUDA_INSTALL_DIR和CUDNN_INSTALL_DIR则编译之后又warning，且运行不了samples下的例程。
下在的TensorRT的版本需要和cuda版本号和cudnn版本号一直，否则重新安装即可。

参考

https://docs.nvidia.com/deeplearning/sdk/tensorrt-developer-guide
https://github.com/NVIDIA/TensorRT

TensorRT 环境搭建记录相关推荐

极简darknet环境搭建记录
<极简darknet环境搭建记录> darknet的环境搭建已经非常简单了,但是偶尔的一点小坑,可能会浪费一些时间,比如编译的时候使用CUDA报错,或者没找到OpenCV-简单记录一下 ...
MIT Mini Cheetah–开源代码仿真环境搭建记录(Ubuntu20.04)
MIT Mini Cheetah–开源代码仿真环境搭建记录(Ubuntu20.04) 一．安装依赖包 sudo apt install mesa-common-dev freeglut3-dev co ...
Linux环境搭建记录——GitLab安装
Linux环境搭建记录 GitLab安装 GitLab安装更多GitLab详细信息请参考:GitLab官方文档分步指南获取GitLab资源可以访问 https://mirrors.tuna.t ...
Linux环境搭建记录——Jenkins安装
Linux环境搭建记录 Jenkins安装 Jenkins升级 Jenkins插件离线安装构件Jenkins项目 Jenkins安装更多Jenkins详细信息请参考:Jenkins官方文档分步指 ...
linux ubuntu安装pytorch（深度学习环境搭建记录，无sudo权限）踩坑全记录
一些牢骚:深度学习没怎么学习几次,搭建环境已经把我搞秃了哈哈哈. 之前在网上找到的搭建环境的步骤,我没有root权限,很多操作都不行(比如运行.run文件,cuda 和cudnn的安装和修改也需要ro ...
PX4环境搭建记录（ROS+Gazebo+mavros+PX4+QGC）
全过程记录PX4环境搭建(ROS+Gazebo+Mavros+PX4+QGC) 本人飞控专业在读,近段时间在老师的建议下,开始搭建PX4环境配置.因为并没有之前相关环境配置的经验,所以走了不少弯路,在 ...
Windows下Qt编写Android应用程序的环境搭建记录
目录前言配置开发环境安装JDK1.8 安装SDK 安装NDK Qt配置OpenCV C++&Java混合编程结语前言由于要在手机上实现一些应用,例如部署目标检测模型.添加单目测距定 ...
Conda环境搭建记录
背景: 虽然搭建一个conda环境的流程非常简单,但是,在虚拟机中配置或者换了一台设备总要再次搭建,再次搭建的时候有些命令就记不清了,基于此,写下此篇文章做个记录. 第一步.下载正确的安装包可以不去 ...
五分钟搞定VS2017+TensorRT环境搭建
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达本文转自|OpenCV学堂系统与环境要求 Windows10系统 ...

TensorRT 环境搭建记录

TensorRT 环境搭建记录

文章目录

1.TensorRT介绍

2.使用TensorRT总目标

3.Centos下TensorRT环境搭建（Ubuntu一样）

4.TX2安装TensorRT

5.TensorRT安装问题

参考

TensorRT 环境搭建记录相关推荐

最新文章

热门文章