TensorRT安装教程
简介
本文介绍在Ubuntu系统下安装TensorRT的具体步骤,主要支持C++的调用,理论上适合各种Linux发行版。
准备工作
CUDA安装
首先需要确保正确安装CUDA,可以参考我之前的博文,通过nvcc -V
验证是否安装。
下载TensorRT
访问官网下载地址,下载合适的版本,我们选择压缩包文件下载,如下图。这里建议选用较新的8.x版本,支持比较多,我这里的CUDA版本为11.1,因此选择了这个文件。
安装TensorRT
必须要说的是,其实TensorRT的安装完全可以参照NVIDIA官方文档安装成功,我这里只是做一个具体的示例。
我们首先通过下面的命令解压下载的压缩包,并将解压得到的库文件移动到想要安装的位置,比如我想要安装到家目录下的opt
文件夹中。
tar -xzvf TensorRT-8.0.3.4.Linux.x86_64-gnu.cuda-11.3.cudnn8.2.tar.gz
mv TensorRT-8.0.3.4 ~/opt/
然后,我们编辑环境变量vim ~/.bashrc
,在其中增加下面一行后,通过source ~/.bashrc
重新激活环境变量。
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:~/opt/TensorRT-8.0.3.4
接着,我们通过样例程序判断TRT能否正常工作。我们先是将sampleMNIST源码进行编译,此时会在bin
目录生成可执行文件,我们切换过去直接执行。
cd ~/opt/TensorRT-8.0.3.4/samples/sampleMNIST
make
cd ../../bin/
./sample_mnist
如果输出如下内容,最后显示PASSED,表明样例运行通过,那么TRT的安装基本上没什么问题。
[03/04/2022-21:25:41] [I] Input:
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@.*@@@@@@@@@@
@@@@@@@@@@@@@@@@.=@@@@@@@@@@
@@@@@@@@@@@@+@@@.=@@@@@@@@@@
@@@@@@@@@@@% #@@.=@@@@@@@@@@
@@@@@@@@@@@% #@@.=@@@@@@@@@@
@@@@@@@@@@@+ *@@:-@@@@@@@@@@
@@@@@@@@@@@= *@@= @@@@@@@@@@
@@@@@@@@@@@. #@@= @@@@@@@@@@
@@@@@@@@@@= =++.-@@@@@@@@@@
@@@@@@@@@@ =@@@@@@@@@@
@@@@@@@@@@ :*## =@@@@@@@@@@
@@@@@@@@@@:*@@@% =@@@@@@@@@@
@@@@@@@@@@@@@@@% =@@@@@@@@@@
@@@@@@@@@@@@@@@# =@@@@@@@@@@
@@@@@@@@@@@@@@@# =@@@@@@@@@@
@@@@@@@@@@@@@@@* *@@@@@@@@@@
@@@@@@@@@@@@@@@= #@@@@@@@@@@
@@@@@@@@@@@@@@@= #@@@@@@@@@@
@@@@@@@@@@@@@@@=.@@@@@@@@@@@
@@@@@@@@@@@@@@@++@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@[03/04/2022-21:25:41] [I] Output:
0:
1:
2:
3:
4: **********
5:
6:
7:
8:
9:[03/04/2022-21:25:41] [I] [TRT] [MemUsageChange] Init cuBLAS/cuBLASLt: CPU +0, GPU +0, now: CPU 1819, GPU 1273 (MiB)
&&&& PASSED TensorRT.sample_mnist [TensorRT v8003] # ./sample_mnist
总结
本文简单介绍TensorRT的安装,其实只要根据官方文档安装基本上就没什么问题。
TensorRT安装教程相关推荐
- 【windows版】TensorRT安装教程
一.参考资料 TensorRT 深度学习模型剪枝.量化和TensorRT推理 深度学习模型PyTorch训练并转ONNX与TensorRT部署 TensorRT(1)-介绍-使用-安装 TensorR ...
- TensorRT安装及使用教程
常见网络tensorrt c++版实现: https://github.com/wang-xinyu/tensorrtx 参考:TensorRT安装及使用教程_ZONGXP的博客-CSDN博客_ten ...
- 加速深度学习在线部署,TensorRT安装及使用教程
向AI转型的程序员都关注了这个号???????????? 机器学习AI算法工程 公众号:datayx 1 什么是TensorRT 一般的深度学习项目,训练时为了加快速度,会使用多GPU分布式训练. ...
- tensorRT 7 8+ DEB安装教程
tensorRT 8+ 安装教程 目录 0.相关文档 1.官网查 ...
- tensorrt安装_基于TensorRT的BERT推断加速与服务部署
BERT的出现真是广大NLPer的福音,在很多任务上能取得显著提升.不例外,作者在工作过程中也使用了BERT进行下游任务训练,但在感叹BERT真香的时候,它及其漫长的推断时间让人感到很为难.本文就记录 ...
- ONNX-TensorRT安装教程
找了很多的教程,针对这些教程和碰到的问题,整理了一下. 1. 主教程(***):https://zhuanlan.zhihu.com/p/380950900 按照这个主教程一步一步的走,其中没有说g ...
- 【网站汇总】安装教程系列
目录 1.Anaconda 2.Pytorch 3.Tensorflow 4.LaTeX 5.博客搭建 1.Anaconda [CV]Anaconda 安装教程_Fannnnf的博客-CSDN博客 2 ...
- oracle 11g完全安装教程(CentOS)
oracle下载链接:http://www.oracle.com/technetwork/database/enterprise-edition/downloads/index.html oracle ...
- vs安装一直在提取文件_Visual Studio 2019下载及安装教程
宸1分钟前 这可是我珍藏多年的资源啊. Visual Studio 2019 Microsoft Visual Studio(简称VS)是美国微软公司的开发工具包系列产品.是目前最流行的Windows ...
最新文章
- 如何在Unity中添加三维空间声音Spatial Sounds
- Java虚拟机的功能
- python中的iter()函数与next()函数
- win10偶然无法使用任务栏的问题解决办法
- win10系统下查看cpu是否启动虚拟化
- MySQL(6)---数据库 管理
- ShardingSphere RAW JDBC 分布式事务XA 代码示例
- pt-table-checksum
- 2022 MathorCup 数学建模B题思路解析
- 优先部署EDI系统把握信息传输的主动权
- vs2008中caption属性如何设置为中文
- 科研linux发型版本,[合集]哪些Linux系统科研能用呢 - 优秀的Free OS(Linux)版 - 北大未名BBS...
- 〖Python 数据库开发实战 - Redis篇⑫〗- Redis的事务特性
- PAT甲级考试题库题目分类
- Don‘t Cry Over Spilt Milk
- 术语FXO和FXS的含义是什么
- mysql中的locate,MySQL LOCATE()用法及代码示例
- PDF 转成 一张图片
- matlab - 3 自由度的机械臂
- 一个有趣的抛硬币问题