triton部署yolov5笔记(五)
github链接:https://github.com/Lobaer-D/triton-onnx
整体流程可以参考CSDN链接
triton部署yolov5笔记(一)
triton部署yolov5笔记(二)
triton部署yolov5笔记(三)
triton部署yolov5笔记(四)
一、docker安装
nvidia-docker安装
Nvidia-Docker安装需要安装两个部分,Docker-CE和NVIDIA Container Toolkit。
1、安装Dokcer-CE
Docker-CE on Ubuntu can be setup using Docker’s official convenience script:
官方的快速安装脚本,具体安装的版本应该是最新版,如果用此脚本安装Docker,以后还可以使用此脚本更新:
curl https://get.docker.com | sh \&& sudo systemctl --now enable docker
注意:如果你的机器已经有安装Docker,那么使用这个脚本可能会出错,要是你本机的Docker就是用这个脚本安装的,那么你可以再次用这个脚本进行更新。
我使用此脚本进行安装后:
需要执行sudo /lib/systemd/systemd-sysv-install enable docker
来激活docker,激活后查看Docker版本docker --version
2、更改docker镜像源
复制以下命令到终端,直接运行即可完成
sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{"registry-mirrors": ["https://sx1pmhon.mirror.aliyuncs.com"]
}
EOF
sudo systemctl daemon-reload
sudo systemctl restart docker
3、Linux下修改docker默认存储位置
docker 默认安装存储位置为 /var/lib/docker
。当镜像多了以后,会占用大量的存储空间,当所在的分区存储空间不足时,我们可以通过扩展磁盘空间,或者修改 docker 配置中的存储位置来解决上述问题。
(0)确认存储位置
输入以下命令即可查看doker默认存储位置,最初默认位置为/var/lib/docker
sudo docker info|grep "Docker Root Dir"
(1)软链接
软链接 (Symbolic Link),也称符号链接,这里不再详细介绍。最简单的修改方法是将原docker 目录下的文件迁移到新的目录,然后将原目录链接到新的目录,这种方法的好处是不用修改 docker 配置,从系统文件操作的层面来解决。方法如下:
①首先停止 docker 服务:
# systemctl stop docker
②然后移动整个 /var/lib/docker
目录到目的路径(/data/docker
):
# mv /var/lib/docker /data/docker
③ 创建软链接
# ln -s /root/docker /var/lib/docker
**Note:**命令的意思是 /var/lib/docker
是链接文件名,其作用是当进入/var/lib/docker
目录时,实际上是链接进入了 /root/docker
目录
④重启docker
# systemctl start docker
(2)修改docker配置文件
也可以通过修改 docker.service 文件,使用 --graph newPath 参数指定存储位置,方法如下:
①首先停止 docker 服务:
# systemctl stop docker
②然后移动整个 /var/lib/docker 目录到目的路径(/data/docker):
# mv /var/lib/docker /data/docker
③ 修改 docker.service 文件
centos7 下默认路径为 /usr/lib/systemd/system/docker.service
# vim /usr/lib/systemd/system/docker.service
在 ExecStart=/usr/bin/dockerd 后面添加参数 --graph /data/docker
结果如下:
ExecStart=/usr/bin/dockerd --graph /data/docker -H fd:// --containerd=/run/containerd/containerd.sock
④重启 docker 服务
# systemctl daemon-reload
# systemctl start docker
⑤查看配置是否生效
# docker info | grep "Docker Root Dir"Docker Root Dir: /data/docker
4、安装NVIDIA Container Toolkit
distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \&& curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - \&& curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
Optional:如果想要使用实验特性,需要加入experimental分支到库下:
curl -s -L https://nvidia.github.io/nvidia-container-runtime/experimental/$distribution/nvidia-container-runtime.list | sudo tee /etc/apt/sources.list.d/nvidia-container-runtime.list
更新好包列表之后,安装nvidia-docker2包及其依赖:
sudo apt-get update
sudo apt-get install -y nvidia-docker2
sudo systemctl restart docker
现在可以通过运行base CUDA container来测试一个working setup
sudo docker run --rm --gpus all nvidia/cuda:11.0-base nvidia-smi
二 、模型转换
1、将训练好的模型转化为onnx格式
先给出官方代码链接,yolov5。这里不对yolov5原理做介绍,直接从训练的pt文件开始。当我们训练好模型以后,在官方给的yolov5代码结构中,runs目录下会生成train目录,找到最终训练的exp,在weights目录下会生成best.pt和last.pt,我们选择best.pt,指定输入输出路径,输入以下命令
python export.py --weights yolov5s.pt --include torchscript onnx
在有的情况下输出模型结构需要进行调整,修改fucs网络层,输出节点进行拼接等。这里不需要对模型的输入输出节点进行修改。输出网络结构如图所示。
2、修改onnx输出字节的名称
PaddleUtils-main目录下提供了相关的修改工具
将417,437,output输出节点改为output1,output2,output3
①ONNX模型shape推理
有时遇到拿到的ONNX模型缺少中间节点的shape信息,可以使用onnx_infer_shape来进行shape推理,此脚本源于onnxruntime,使用方式如下
python onnx_infer_shape.py --input model.onnx --output new_model.onnx
②裁剪ONNX模型
在部分场景下,我们可能只需要整个模型的一部分,那么可以使用prune_onnx_model.py来裁剪模型,如我们只需要模型中的输出x和y及其之前的节点即可,那么可使用如下方式处理模型
python prune_onnx_model.py --model model.onnx --output_names x y --save_file new_model.onnx
其中output_names用于指定最终模型的输出tensor,可以指定多个
③修改模型中间节点命名(包含输入、输出重命名)
python rename_onnx_model.py --model model.onnx --origin_names x y z --new_names x1 y1 z1 --save_file new_model.onnx
其中origin_names和new_names,前者表示原模型中各个命名(可指定多个),后者表示新命名,两个参数指定的命名个数需要相同
三、模型部署
1、拉取triton镜像
docker pull nvcr.io/nvidia/tritonserver:22.04-py3
2、构建模型容器
在triton_inference_server目录下分别创建deploy、images、labels文件夹,其中deploy文件夹下放置我们的模型文件,images文件夹下放置模型输入输出图片,labels文件夹放置模型分类的标签类别。
deploy文件夹下的模型放置结构要严格按照这个结构进行放置。
其中custom_model目录下为python backend模型,其作用是在服务端进行模型的推理与后处理,config.pbtxt文件为模型的配置文件,triton.tar.gz文件为运行model.py文件所需的python环境,由于该文件太大,没有上传,获取方式稍后介绍。
model_0、1、2目录下放置我们训练并转化好的模型文件。
images目录下有两个目录,input_img目录放置要输入进行预测的图片(代码中目前没有调用该目录下的图片,调用的是网络图片,如果想要调用该目录下的图片只需要将model.py文件稍作修改即可);output_img目录存放预测完成的图片,他会按照日期生成文件夹,该文件夹下存放当天生成的图片,图片命名方式由uuid随机生成。
目录结构如下:
triton_inference_server
├── client.py
├── deploy
│ ├── custom_model
│ │ ├── 1
│ │ │ ├── model.py
│ │ │ └── __pycache__
│ │ │ ├── hat_utils.cpython-38.pyc
│ │ │ └── model.cpython-38.pyc
│ │ ├── config.pbtxt
│ │ └── triton.tar.gz
│ ├── model_0
│ │ ├── 1
│ │ │ └── model.onnx
│ │ └── config.pbtxt
│ ├── model_1
│ │ ├── 1
│ │ │ └── model.onnx
│ │ └── config.pbtxt
│ └── model_2
│ ├── 1
│ │ └── model.onnx
│ └── config.pbtxt
├── images
│ ├── input_img
│ │ └── 4.jpg
│ └── output_img
│ └── 20220805
│ └── 02e2f779-461f-40be-8d7d-43f46e73a62a.jpg
└── labels├── label_0.txt├── label_1.txt└── label_2.txt
注:使用本地环境(生成triton.tar.gz)
在创建虚拟环境之前运行
export PYTHONNOUSERSITE=True
创建一个虚拟环境,安装服务端需要的包
conda create -n triton python=3.8
pip install opencv-python # conda 安装不了,用 pip,如果有问题安装opencv-python-headless
pip3 install torch torchvision torchaudio
# 清华镜像源
# pip install xxx -i https://pypi.tuna.tsinghua.edu.cn/simple
conda install conda-pack
conda-pack # 运行打包程序,将会打包到运行的目录下面
如果需要,安装opencv的依赖
apt update
apt install ffmpeg libsm6 libxext6 -y --fix-missing # 安装 opencv 的依赖, -y 表示 yes
将打包的triton.tar.gz文件放到cuetom_model路径下
3、启动容器
进入工作空间
cd triton_inference_server
启动容器
sudo docker run --gpus all --name triton-inference-server --rm --shm-size=1g -p9090:8000 -p9091:8001 -p9092:8002 -v $(pwd)/deploy:/models -v $(pwd)/images:/images -v $(pwd)/labels:/labels nvcr.io/nvidia/tritonserver:21.09-py3
tritonserver --model-repository=/models
4、测试结果
安装依赖包
pip install tritonclient[all]
运行client.py文件
python client.py
References
nvidia-docker安装教程
Linux下更换Docker镜像源
Linux下修改Docker默认存储位置
我不会用 Triton 系列:Python Backend 的使用
人脸识别例程
官方github[triton-inference-server]
triton部署yolov5笔记(五)相关推荐
- triton部署yolov5笔记(三)
直达链接 Triton部署YOLOV5笔记(一) Triton部署YOLOV5笔记(二) triton部署yolov5笔记(三) triton部署yolov5笔记(四) 拉取镜像 docker pul ...
- Jetson nano部署Yolov5目标检测 + Tensor RT加速(超级详细版)
一.准备工具 二.烧录 三.搭配环境 四.试跑Yolov5 五.tensorRT部署yolov5 前言: 在工作或学习中我们需要进行 ...
- 利用Triton Pipelines部署yolov5 service
部署yolov5 Triton Pipelines 1. 为什么使用Triton pipelines 2. Triton Pipelines的实现方式 3. 如何部署Triton Pipelines ...
- yolov5笔记(3)——移动端部署自己的模型(随5.0更新)
一直以来学习目标检测的最终目标就是为了移动端的部署,比方说树莓派.jetson.安卓.ios等.之前因为实在对object_detection训练出来的东西效果不满意,所以当时没继续研究移动端部署.如 ...
- 【AngularJs学习笔记五】AngularJS从构建项目开始
为什么80%的码农都做不了架构师?>>> #0 系列目录# AngularJs学习笔记 [AngularJs学习笔记一]Bower解决js的依赖管理 [AngularJs学习笔 ...
- 在英特尔独立显卡上部署YOLOv5 v7.0版实时实例分割模型
作者:贾志刚 英特尔物联网创新大使 目录 1.1 YOLOv5实时实例分割模型简介 1.2 英特尔®消费级锐炫™ A 系列显卡简介 1.3 在英特尔独立显卡上部署YOLOv5-seg模型的完整流程 ...
- Python学习笔记五:控制语句
Python学习笔记五:控制语句 Pycharm 开发环境的下载安装配置_项目管理 控制语句 Pycharm 开发环境的使用 Pycharm 下载和安装 激活和选择不同UI 风格 创建项目和初始化配置 ...
- yolov5笔记(2)——训练自己的数据模型(随6.0更新)
个人体验yolov5最大的感觉就是惬意舒适. 比起object_detection 一个训练花费我10小时,一个只有1.1个小时(都是迁移训练) 一个检测速度等待了十几秒,一个只需0.01秒(一张图) ...
- Jetson Xavier NX部署Yolov5(GPU版)
根据我自身的成功部署经验进行了总结,首先希望可以帮助到有需要的朋友们. 一.前期准备: 1.硬件准备: Jetson Xavier NX开发板(带128g内存条的EMMC版).跳线帽(杜邦线).mic ...
最新文章
- mysql行级锁测试
- Sql Server系列:存储过程
- linux 运行apj,pxe+ris-linux实现在DELL R710上网络安装windows2003
- activiti异步执行_对基于消息队列的Activiti异步执行器进行基准测试
- 审批流_怎样让审批工作流和应用数据分离?
- 实例30:python
- 数据管理与商业智能_商业智能与数据科学
- 移动开发day1_过渡_2d转换_3d立体
- 一句话加速grep近30倍
- OllyDbg笔记-软件逆向调试技巧
- Ubuntu 12.04(所有ubuntu发行版都适用)sudo免输入密码
- php 获取某周的最后一天,PHP获取本周首先天和最后一天
- 51单片机流水灯用c语言,51单片机流水灯C语言源代码.doc
- 解决Win7下银行网银U盾弹空对话框的问题
- SaaS软件公司ServiceNow市值突破1000亿美元
- 终于搞懂Dijkstra算法了
- 记一次微信小程序 进入 游客模式后如何切换回来
- 大学三年学习报告(兼谈中国高等教育)
- STM32 BLDC电机驱动开发板资料 反电动势B-EMF过零检测
- Struts1.x系列教程:用MyEclipse开发第一个Struts程序