博文目录

文章目录

  • 版本说明
  • 版本选择
  • 下载代码
  • 创建并激活虚拟环境
  • 使用 CPU 推理
    • 安装工程运行的最少依赖
    • 运行 detect.py
  • 使用 Nvidia GPU 推理
    • 安装 PyTorch CUDA 环境
    • 运行 detect.py
  • 安装 TensorRT
    • 导出 engine
    • 运行 detect.py
    • 额外配置

版本说明

截止到 2022.12.24, 相关工具情况如下

  • Nvidia GeForce Game Ready 驱动程序: 527.56, 运行 nvidia-smi 可知该驱动最高已支持到最新的 CUDA 12
  • Nvidia CUDA: 最新版 CUDA 版本为 12
  • Nvidia TensorRT: TensorRT 8.5 GA Update 1, 支持 CUDA 11.0 到 11.8
  • Nvidia cuDNN: cuDNN 8.7.0, for CUDA 11.x
  • PyTorch: Windows 上支持 Python 3.7 到 3.10. 最高支持 CUDA 11.7

版本选择

pip install -U nvidia-tensorrt --index-url https://pypi.ngc.nvidia.com

目前我们无法从 Nvidia 官方 Python Index 库安装 python-tensorrt, 好在有替代方法

Nvidia TensorRT 内置了 tensorrt-8.5.2.2-cp310-none-win_amd64.whl, 可以直接安装到 Python 虚拟环境中, 支持 Python 3.6 到 3.10

综上所述, 我们选择 Python 3.10 和 CUDA 11.7 来搭建环境

下载代码

Yolo v5 7.0

下载或克隆代码到某个路径, 如 C:\mrathena\develop\workspace\pycharm\yolov5-7.0

创建并激活虚拟环境

Windows Python PyCharm 开发环境搭建

使用 Conda 创建并管理虚拟环境

conda create -n gpu python=3.10 # 创建环境
conda activate gpu # 激活环境conda remove -n gpu --all # 删除环境

使用 CPU 推理

安装工程运行的最少依赖

cd C:\mrathena\develop\workspace\pycharm\yolov5-7.0 # 切换工作路径到工程下
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple # 安装运行依赖

运行 detect.py

出现如 YOLOv5 2022-11-22 Python-3.10.8 torch-1.13.1+cpu CPU 的字样即说明环境配置成功

首次运行会自动下载权重文件 yolov5s.pt, 也可自行下载并放在工程根目录下

执行结果见 runs\detect\exp

使用 Nvidia GPU 推理

默认依赖安装好后, Yolo 即可以以 CPU 的方式运行, 若想以 GPU 的方式运行, 还需配置 CUDA 环境

安装 PyTorch CUDA 环境

在 PyTorch 拿到 pytorch 的安装命令

conda install pytorch torchvision torchaudio pytorch-cuda=11.7 -c pytorch -c nvidia

原版命令如果卡在某一步, 无法成功安装, 可尝试使用下方的替代方法

# 配置清华源
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
conda config --set show_channel_urls yes
# 修改后的命令, 明确指定了各个模块的版本
conda install pytorch==1.13.1 torchvision==0.14.1 torchaudio==0.13.1 pytorch-cuda=11.7 -c pytorch -c nvidia
# 参考内容见 https://blog.csdn.net/cxin917/article/details/127825180
# 版本关系见 https://github.com/pytorch/vision 和 https://github.com/pytorch/audio, 和执行 `conda search pytorch-cuda`

安装完成后, 执行 python, 输入如下内容, 如果返回 True, 则说明 CUDA 环境配置成功. 执行 exit() 退出 python 命令

import torch
torch.cuda.is_available()

运行 detect.py

有一个报错, 应该是 pillow 的原因

PIL（Python Image Library），Python 图像处理标准库。仅支持到 Python 2.7，故 Python 3 用的是 PIL 的兼容版本 Pillow

C:\mrathena\develop\miniconda\envs\gpu\lib\site-packages\torch\storage.py:11: UserWarning: The NumPy module was reloaded (imported a second time). This can in some cases result in small but subtle issues and is discouraged.import numpy as np
Traceback (most recent call last):File "C:\mrathena\develop\workspace\pycharm\yolov5-7.0\detect.py", line 43, in <module>from models.common import DetectMultiBackendFile "C:\mrathena\develop\workspace\pycharm\yolov5-7.0\models\common.py", line 25, in <module>from PIL import ImageFile "C:\mrathena\develop\miniconda\envs\gpu\lib\site-packages\PIL\Image.py", line 100, in <module>from . import _imaging as core
ImportError: DLL load failed while importing _imaging: 找不到指定的模块。

无需卸载, 通过如下命令直接强制替换问题版本即可. 切记不要使用 conda uninstall pillow 这个命令, 因为会删除其他很多东西

pip install pillow==9.2.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

出现如 YOLOv5 2022-11-22 Python-3.10.8 torch-1.13.1 CUDA:0 (NVIDIA GeForce RTX 2080, 8192MiB) 的字样即说明环境配置成功

安装 TensorRT

百度网盘 相关资源

# 本地安装 tensorrt 模块, 从百度网盘中下载对应 Python 版本的安装包即可
pip install tensorrt-8.5.2.2-cp310-none-win_amd64.whl
# 安装 onnx, 需要先将 pt 转为 onnx 再转为 engine
pip install onnx -i https://pypi.tuna.tsinghua.edu.cn/simple

导出 engine

执行下方命令将 yolov5s.pt 导出为 yolov5s.engine

python export.py --weights yolov5s.pt --device 0 --include engine

运行 detect.py

将 detect.py 中的 weights 参数的默认值 yolov5s.pt 修改为 yolov5s.engine, 然后再运行

C:\mrathena\develop\miniconda\envs\gpu\python.exe C:/mrathena/develop/workspace/pycharm/yolov5-7.0/detect.py
detect: weights=yolov5s.engine, source=data\images, data=data\coco128.yaml, imgsz=[640, 640], conf_thres=0.25, iou_thres=0.45, max_det=1000, device=, view_img=False, save_txt=False, save_conf=False, save_crop=False, nosave=False, classes=None, agnostic_nms=False, augment=False, visualize=False, update=False, project=runs\detect, name=exp, exist_ok=False, line_thickness=3, hide_labels=False, hide_conf=False, half=False, dnn=False, vid_stride=1
YOLOv5  2022-11-22 Python-3.10.8 torch-1.13.1 CUDA:0 (NVIDIA GeForce RTX 2080, 8192MiB)Loading yolov5s.engine for TensorRT inference...
[12/24/2022-22:30:04] [TRT] [I] [MemUsageChange] Init CUDA: CPU +410, GPU +0, now: CPU 14174, GPU 1213 (MiB)
[12/24/2022-22:30:04] [TRT] [I] Loaded engine size: 31 MiB
[12/24/2022-22:30:05] [TRT] [I] [MemUsageChange] Init cuDNN: CPU +699, GPU +258, now: CPU 14961, GPU 1503 (MiB)
[12/24/2022-22:30:05] [TRT] [I] [MemUsageChange] TensorRT-managed allocation in engine deserialization: CPU +0, GPU +0, now: CPU 0, GPU 0 (MiB)
[12/24/2022-22:30:05] [TRT] [I] [MemUsageChange] Init cuDNN: CPU +0, GPU +8, now: CPU 14930, GPU 1503 (MiB)
[12/24/2022-22:30:05] [TRT] [I] [MemUsageChange] TensorRT-managed allocation in IExecutionContext creation: CPU +0, GPU +0, now: CPU 0, GPU 0 (MiB)
image 1/2 C:\mrathena\develop\workspace\pycharm\yolov5-7.0\data\images\bus.jpg: 640x640 4 persons, 1 bus, 4.6ms
image 2/2 C:\mrathena\develop\workspace\pycharm\yolov5-7.0\data\images\zidane.jpg: 640x640 2 persons, 2 ties, 5.0ms
Speed: 720.5ms pre-process, 4.8ms inference, 3.9ms NMS per image at shape (1, 3, 640, 640)
Results saved to runs\detect\exp6

额外配置

百度网盘 相关资源

报缺少 nvinfer.dll / nvinfer_plugin.dll / nvonnxparser.dll / nvparsers.dll / cudnn64_8.dll / cublas64_11.dll / cublasLt64_11.dll 等做如下操作

下载百度网盘中的 lib 文件夹到某个位置, 并将该位置添加到 Path 环境变量

或自行下载 Nvidia TensorRT, 将其中的 lib 文件夹解压到某个位置, 并将该位置添加到 Path 环境变量, 下载百度网盘中 lib 文件夹中的 cudnn64_8.dll, 放到该 lib 文件夹中, 保证 Path 能覆盖到

Windows Python PyTorch CUDA 11.7 TensorRT 环境配置相关推荐

  1. 在windows中对torch1.7.1版本环境配置

    在windows中对torch1.7.1版本环境配置 复杂的安装方式:(不推荐) 环境内容 下载 Cudnn 和 CUDA (可选) 简单粗暴安装方式:(强烈推荐) 复杂的安装方式:(不推荐) 环境内 ...

  2. 深度学习环境配置1——windows下的tensorflow-gpu=1.13.2环境配置

    深度学习环境配置1--windows下的tensorflow-gpu=1.13.2环境配置 注意事项 一.2021/9/11更新 二.2021/7/8更新 三.2020/11/5更新 学习前言 环境内 ...

  3. 深度学习环境配置7——（30系显卡）windows下的tensorflow-gpu==2.4.0环境配置

    深度学习环境配置7--(30系显卡)windows下的tensorflow-gpu==2.4.0环境配置 注意事项 一.2021/10/8更新 学习前言 各个版本tensorflow2的配置教程 环境 ...

  4. 深度学习环境配置5——windows下的torch-cpu=1.2.0环境配置

    深度学习环境配置5--windows下的torch-cpu=1.2.0环境配置 注意事项 一.2021/10/8更新 学习前言 各个版本pytorch的配置教程 环境内容 环境配置 一.Anacond ...

  5. Jetson Nano Pytorch+TensorRT环境配置系统移植到另一张TF卡

    PS:使用本文章中dd写入的方式,可以用于备份TF卡/SD卡/硬盘里操作系统/环境变量和系统数据,随时备份,随时恢复,内容完全一样 ! ! 目录 PS:使用本文章中dd写入的方式,可以用于备份TF卡/ ...

  6. 在Anaconda中安装pytorch的详细步骤+PyCharm环境配置

    前言 深度学习小白一枚,自己的笔记本配置如下: 显卡:NVIDIA GeForce MX150(非常垃圾的笔记本显卡) 固态硬盘 256G CPU:lntel® Core™i7-8550U Windo ...

  7. anaconda安装及pytorch、tf、jupyter环境配置

    由于环境崩了,找不到原因,所以又开始摸索着从头开始配置conda环境 1.  安装anaconda anaconda 安装包下载地址如下 下载地址:Anaconda | Individual Edit ...

  8. AMD显卡安装PyTorch及在PyCharm中环境配置

    具体操作如下 检查AMD的驱动是否已经更新到最新版 显卡型号查询方式: AMD官网进行驱动更新 显卡更新完毕后,利用网上的教程即可进行PyTorch的安装 PyTorch安装 安装完毕后,在PyCha ...

  9. Python第三方库Selenium安装及环境配置

    Selenium是一个用于Web应用程序测试的工具.Selenium直接运行在浏览器中,就像真正的用户在操作一样.Selenium支持多种浏览器. 1.Selenium的安装 安装方式:pip ins ...

最新文章

  1. 解决Jira和Confluence访问打开越来越缓慢问题
  2. NuGet学习笔记(2) 使用图形化界面打包自己的类库[转]
  3. 这些表情包你有吗？来 Battle 啊
  4. 李牛（Linux）vi
  5. mysql-connector-mysql 8.0 (spring-boot-starter-parent 管理的版本) + Activiti 6.x 自动建表失败
  6. 操作系统—进程的状态与状态的转换
  7. reset.css下载
  8. EXCEL VBA 操作图表
  9. 一小时做出Java实战项目——飞翔的小鸟
  10. 如何将flv格式的视频转换为mp4格式
  11. 深度学习使用sketch-code 草图、手稿自动生成HTML前端页面
  12. STM32实现DAC功能输出音频波形
  13. 流量回放repeater的原理分析二：repeater源码分析
  14. 【MacOS】虚拟机Vmware安装MacOS
  15. linux万能显卡,万能显卡驱动如何安装使用？万能显卡驱动安装使用方法
  16. 什么是class-agnostic，class-agnostic是什么意思
  17. 海洋环境科学概论知识整理--2
  18. 故障分析 | Greenplum Segment 故障处理
  19. 第八课：受控源和放大器
  20. 鸿蒙系统编译怎样收费的,深度解析鸿蒙系统的编译流程

热门文章

  1. mqtt 传文件断开连接的原因_mqtt服务器连上就断开
  2. 第三章 正确认识MVC
  3. JAVA调用mq时做心跳检测,[翻译]RabbitMQ 心跳
  4. C语言怎么实现多个值输出？
  5. Java程序员必看的20本书，从入门到精通！收藏
  6. vue项目适配 rem
  7. C#使用HttpWebRequest下载文件
  8. 开放平台如何做接口的签名和加解密？
  9. 上海交通大学计算机专业有调剂吗,上海交通大学计算机系2019考研调剂信息
  10. 数据库事务开启，提交与回滚