一、环境搭建

VS2017+CUDA10.0+CUDNN7.6.5+opencv3.4(不要高于4.0)

1、查看cuda版本

nvcc -V，我的是10.0

2、查看cudnn版本

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\include，到CUDA的include目录下找到cudnn.h，打开后下图即是版本，我的是7.6.5

3、下载Opencv3.4

OpenCV 3.4 - OpenCVhttps://opencv.org/opencv-3-4.html

下载完后随便找个地方解压，然后添加环境变量。

4、安装TensorRT

（网页最下面可以选中文）点击立即下载，点击TensorRT 7

NVIDIA TensorRT | NVIDIA Developerhttps://developer.nvidia.com/tensorrt

选择合适的版本下载并找个地方解压

配置环境变量，将解压之后的lib的路径添加到环境变量中，如
F:\tensorrt_tar\TensorRT-7.0.0.11.Windows10.x86_64.cuda-10.0.cudnn7.6\TensorRT-7.0.0.11\lib

将lib下的dll文件放到CUDA的bin目录下，我的是C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\bin

5、安装pycuda

如果要使用python接口的tensorrt，则需要安装pycuda

pip install pycuda

6、下载tensorrtx

git clone https://github.com/wang-xinyu/tensorrtx.git

下载文件dirent.h

https://github.com/tronkko/direnthttps://github.com/tronkko/dirent

然后在 tensorrtx路径下创建include，把dirent.h放进去

二、yolov5的TensorRT加速

将tensorrtx/yolov5/gen_wts.py复制到自己的yolov5目录下，将要处理的权重best.pt也放在这个路径下。

注：此处开始与网上大部分教程不同

1、运行gen_wts.py生成best.wts

以前似乎是不需要指定权重路径的，现在必须指定。

在对应路径下运行 python gen_wts.py -w best.pt，会在同目录生成best.wts文件。

将best.wts复制到F:\tensorrtx\tensorrtx\yolov5下（换成自己的路径，没有build就新建一个）

2、修改CMakeList

修改F:\tensorrtx\tensorrtx\yolov5目录下（换成自己的路径）的CMakeList.txt。

最新版本的tensorrtx下载下来CMakeList大概长这样

我们需要在网上找一份以前的CMakeList然后做修改，大概长这样。

需要修改的部分：每一个#123456都看一看需不需要改成自己电脑上的路径。

除此之外！！

1、在add_definitions(-std=c++11)下面添加add_definitions(-DAPI_EXPORTS)。
2、修改add_executable(yolov5 ${PROJECT_SOURCE_DIR}/calibrator.cpp yolov5 ${PROJECT_SOURCE_DIR}/yolov5.cpp ${PROJECT_SOURCE_DIR}/yololayer.cu ${PROJECT_SOURCE_DIR}/yololayer.h)

在(yolov5后面加上 preprocess.cu preprocess.h

3、修改F:\tensorrtx\tensorrtx\yolov5下的yololayer.h，把static constexpr int CLASS_NUM =后面填上你自己的权重对应的类别。

4、然后就可以用cmake编译了。

如果之前没有错误，此时依次Configure, Generate,OpenProject自动打开VS2017，使用Release模式，生成-生成解决方案就可以了。

3、生成engine

把best.wts复制到F:\tensorrtx\tensorrtx\yolov5\build\Release目录下，执行

yolov5.exe -s best.wts best.engine s

然后就可以得到best.engine

测试：

弄点图片到这个路径下来，新建个文件夹img放入其中，执行yolov5.exe -d best.engine img

这就表示成功了。

我的CMakeLists.txt

链接：https://pan.baidu.com/s/1rNtliwxt7J4NfCNUmcCO6w
提取码：b8fo

Win10 yolov5 6.0版本使用tensorrtx部署tensorRT相关推荐

yolov5 6.0版本-＞onnx-＞ncnn +安卓部署附加ncnn环境配置保姆级详细教程
目标检测:yolov5 6.0版本 ncnn环境安装至 +安卓部署一条龙教程文章目录背景一.准备阶段 1.参考文章 #2.流程二.pt模型->onnx 三.Windows下ncnn环 ...
When YoloV5 Meets Raccoon：手把手用Yolov5(v4.0)制作一个小浣熊捕捉apk
一.前言最近博主在梳理yolov5的源码,这块相信很快就能和大家见面了.与此同时我也觉得这个系列应该也配上一点实战的内容.尤其是目前端到端的实战篇真的是太少了,大部分都是讲训练的过程,但是yolov ...
yolov5 v3.0训练报错： torch.nn.modules.module.ModuleAttributeError: ‘BatchNorm2d‘ object has no attribute
欢迎大家关注笔者,你的关注是我持续更博的最大动力原创文章,转载告知,盗版必究 yolov5 v3.0版本训练报错:torch.nn.modules.module.ModuleAttributeErr ...
windows上配置TensorRT yolov5 -6.0部署 tensorrtx视频流推理
目录前言前置环境一,TensorRT下载安装二,tensorrtx正常windows部署,图片推理 2.1 VS配置(这一步骤二和三通用) 2.2 导出wts模型 2.3 生成engine引擎 ...
win10 yolov5 tensorRT 部署
参考: 1.Win10-YOLOv5实战+TensorRT部署+VS2019编译(小白教程~易懂易上手)-超详细] 2.YOLOV5(Pytorch)目标检测实战:TensorRT加速部署视频目录 ...
【YoloV5 6.0|6.1 部署 TensorRT到torchserve】环境搭建|模型转换|engine模型部署（详细的packet文件编写方法）
忽然发现,关于部署TensorRT的文章少的可怜,于是乎,决定分享一下我自己关于这部分内容的一些成功实操和心得.还是希望大家可以分享出去,让更多人看到!!! QQ: 1757093754 我的操作环境 ...
win7下用docker部署的基于openvino的yolov5算法（三）yolov5 v4.0环境安装以及.pt转成.ir模型
在上一篇博文中,我们创建了基础的openvino容器openvino2020.3.1_ubuntu18.04,具体环境为 * ubuntu 18.04 * openvino2020.3.341 这里, ...
windows下基于libtorch的yolov5 6.0的c++部署
windows下基于libtorch的yolov5 6.0的c++部署 1.概述 libtorch是pytorch的C++版本,在需要多进程.提高推理速度等需求下会比python语言更具有优势.本文根 ...
目标检测 YOLOv5 - v6.2版本模型在瑞芯微 Rockchip设备从训练到C++部署实践
目标检测 YOLOv5 - v6.2版本模型在瑞芯微 Rockchip设备从训练到C++部署实践 flyfish 源码地址 https://github.com/shaoshengsong/rockc ...

Win10 yolov5 6.0版本使用tensorrtx部署tensorRT