【模型加速】TensorRT安装、测试及常见问题

2024-05-12 01:01:25

■ 安装过程

一、安装依赖环境

● Ubuntu 20.04
● CUDA 11.1
● cuDNN 8.0.4
● python 3.8.5
– 可以通过命令查看cuda、cudnn、python版本(以上是我的安装环境)

二、下载安装包

1.下载链接：https://developer.nvidia.com/nvidia-tensorrt-download
2. 点击Download Now（需要登录英伟达账号，没有的注册一个）
3. 选择下载的版本
4. 完成问卷调查
5. 选择同意协定
6. 根据自己的系统版本和CUDA版本选择安装包（我安装的TensorRT版本是7.2.2.3）

三、安装指令

解压tar文件

tar xzvf TensorRT-7.2.2.3.Ubuntu-18.04.x86_64-gnu.cuda-11.1.cudnn8.0.tar.gz

– 解压之后会有lib，include，data，etc…

添加环境变量

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:TensorRT-7.2.2.3/lib

安装python的TensorRT包

cd TensorRT-7.2.2.3/python
pip3 install tensorrt-7.2.2.3-cp38-none-linux_x86_64.whl

– 因为我的python版本是3.8，所以我安装的是cp38

安装python UFF包，支持TensorFlow模型转化

cd TensorRT-7.2.2.3/uff
pip3 install uff-0.6.9-py2.py3-none-any.whl

安装pyton graphsurgeon，支持自定义结构

cd TensorRT-7.2.2.3/graphsurgeon
pip3 install graphsurgeon-0.4.5-py2.py3-none-any.whl

四、安装PyCUDA

PyCUDA是python使用NVIDIA CUDA的API，在Python中映射了所有CUDA的API，如果你想在Python中进行CUDA的编程，一定要安装PyCUDA。

pip3 install 'pycuda>=2019.1.1'

■ 测试

我们可以通过运行samples/python下面的例子，来测试安装是否成功。

第一步：

cd samples/python/end_to_end_tensorflow_mnist
python3 model.py

– 运行之前在end_to_end_tensorflow_mnist目录下新建一个名为models的文件夹，执行model.py之后会在 models文件夹中生成一个lenet5.pb

第二步：

cd samples/python/end_to_end_tensorflow_mnist
convert-to-uff ./models/lenet5.pb

– 通过convert-to-uff命令生成.uff文件，如果执行成功的话会在models文件夹下生成lenet5.uff

第三步

cd TensorRT-7.2.2.3/data/mnist
python3 download_pgms.py

–进入到data目录下的mnist中，运行download_pgms.py，目的是为了生成测试图片。

第四步

cd samples/python/end_to_end_tensorflow_mnist
python3 sample.py -d /home/yaoyao/TensorRT/TensorRT-7.2.2.3/data/mnist

– 通过sample.py测试，-d后边跟的是刚才生成测试图片的路径。

输出：

测试成功！

■ 常见问题

【模型加速】TensorRT安装、测试及常见问题相关推荐

tensorrt安装_基于TensorRT的BERT推断加速与服务部署
BERT的出现真是广大NLPer的福音,在很多任务上能取得显著提升.不例外,作者在工作过程中也使用了BERT进行下游任务训练,但在感叹BERT真香的时候,它及其漫长的推断时间让人感到很为难.本文就记录 ...
yolo模型部署——tensorRT模型加速+triton服务器模型部署
将最近的工作做个记录,方便日后学习回顾: 1.针对项目需求开发满足任务的模型,拿到任务就要去选相应的算法,由于是工程应用型,必须找填坑多的算法,这样遇到问题可参考的资料多. 2.做好以后,还要将开发的 ...
加速深度学习在线部署，TensorRT安装及使用教程
向AI转型的程序员都关注了这个号???????????? 机器学习AI算法工程公众号:datayx 1 什么是TensorRT 一般的深度学习项目,训练时为了加快速度,会使用多GPU分布式训练. ...
模型加速之INT8量化原理及实践（基于TensorRT）
一.模型量化: 1.量化的定义是将网络参数从Float-32量化到更低位数,如Float-16.INT8.1bit等. 2.量化的作用:更小的模型尺寸.更低的功耗.更快的计算速度.下图是不同数据结构比 ...
tensorrt安装_利用TensorRT对深度学习进行加速
前言 TensorRT是什么,TensorRT是英伟达公司出品的高性能的推断C++库,专门应用于边缘设备的推断,TensorRT可以将我们训练好的模型分解再进行融合,融合后的模型具有高度的集合度.例如 ...
【模型加速】TensorRT详解
■ TensorRT概述 NVIDIA®TensorRT™的核心是一个C++库,可以促进在NVIDIA图形处理单元(GPU)上的高性能推断.它旨在与Tensorflow.Caffe.Pytorch.M ...
Ultralytics公司YOLOv8来了(训练自己的数据集并基于NVIDIA TensorRT和华为昇腾端到端模型加速)--跟不上“卷“的节奏
Official YOLOv8 训练自己的数据集并基于NVIDIA TensorRT和华为昇腾端到端模型加速说明: 本项目支持YOLOv8的对应的package的版本是:ultralytics-8. ...
win10下 yolov8 tensorrt模型加速部署【实战】
Windows10下yolov8 tensorrt模型加速部署[实战] TensorRT-Alpha基于tensorrt+cuda c++实现模型end2end的gpu加速,支持win10.linux ...
【模型加速】PointPillars模型TensorRT加速实验(7)
按照[模型加速]PointPillars模型TensorRT加速实验(7)中给出的思路对已有的推理代码进行优化,简而言之就是保持数据在GPU显存中流动,尽量避免内存和显存之间的流动. PFN推理v2 ...
【模型加速】关于模型加速的总结
概述 ● 模型加速的目标: a. Increase inference speed:加快推理速度(应用层面). b. Reduce model size:压缩模型. ● 关于模型的加速大致可以分为三个 ...

最新文章

热门文章