ubuntu-desktop20.04 yolox+tensorrt yolov7+tensorrt推理部署

Ubuntu20.04镜像下载
使用 UltraISO 拷入镜像

vi /etc/apt/apt.conf.d/10periodic
vi /etc/apt/apt.conf.d/20auto-upgrades
后面部分全部改成 “0”
sudo apt-mark hold linux-image-generic linux-headers-generic  # 禁止内核自动更新（很重要，避免内核自动更新后，无法使用显卡驱动）
sudo apt-get install openssh-server # ssh 服务
sudo apt install nautilus-admin # 以管理员权限打开文件或文件夹
nautilus -q 重启服务
https://www.bt.cn/new/download.html # 安装宝塔，选择ubuntu20.04挂载磁盘  （修改磁盘路径，可读写，权限所有人）
nosuid,nodev,nofail,x-gvfs-show
直接用磁盘格式化分区！！！！！

静态ip

# Let NetworkManager manage all devices on this system
network:ethernets:enp2s0:dhcp4: noaddresses: [27.0.0.14/27]optional: truegateway4: 27.0.0.1nameservers: addresses: [222.222.222.222]version: 2

显卡驱动

如果图形模式上有可以安装的显卡驱动就用，如果没有或安装失败，就使用下边的

ubuntu-drivers devices  # 查看本机适用的驱动
sudo apt install nvidia-driver-510 # 选择一个进行安装
modprobe nvidia # 挂载显卡驱动

YOLOX + TensorRT 加速推理部署

nvidia-tensorrt加速器安装：
pip install nvidia-tensorrt==8.0.3.4 --index-url https://pypi.ngc.nvidia.com
torch2trt 库安装:
git clone https://github.com/NVIDIA-AI-IOT/torch2trt
cd torch2trt
python setup.py install
# 安装完成   linux就这么简单，建议放弃win   pytorch转tensorrt模型转换：：
python tools/trt.py

YOLOv7 + TensorRT 加速推理部署
NVIDIA TensorRT 8.x 下载
yolov7-tensorrt-github

需要两个conda虚拟环境 .pt 转 ONNX 需要torch版本1.7.1 cpu
pip install torch==1.7.1+cpu torchvision==0.8.2+cpu torchaudio==0.7.2 -f https://download.pytorch.org/whl/torch_stable.html
安装其他库：
pip install pandas requests opencv-python tqdm pyyaml matplotlib seaborn onnx
克隆yolov7-tensorrt-github 仓库（上边有连接）   导出含有EfficientNMS的ONNX模型。
python export_onnx.py --weights ./weights/yolov7.pt
'这个虚拟环境可以去转onnx模型了!!!'tensorrt推理使用GPU环境：
pip install torch==1.9.0+cu111 torchvision==0.10.0+cu111 torchaudio==0.9.0 -f https://download.pytorch.org/whl/torch_stable.html
安装NVIDIA TensorRT：官网下载（上边有官方连接）下载后解压TAR
添加环境变量
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/akkj/TensorRT-8.4.1.5/lib
激活环境 source ~/.bashrc
复制tensorRT目录下 lib、include文件夹到系统文件夹（或者将这两个文件夹路径添加到.bashrc文件中）
sudo cp -r ./lib/* /usr/lib
sudo cp -r ./include/* /usr/include
进入python文件 pip安装
pip install tensorrt-8.4.1.5-cp37-none-linux_x86_64.whl
cd ../uff
pip install uff-0.6.9-py2.py3-none-any.whl
cd ../graphsurgeon
pip install graphsurgeon-0.4.6-py2.py3-none-any.whl
安装成功进入Python import tensorrt 无报错安装成功
将生成的onnx模型复制到tensorrt/bin文件夹下，使用官方trtexec转化添加完EfficientNMS的onnx模型。FP32预测删除--fp16参数即可。
./trtexec --onnx=./yolov7.onnx --saveEngine=./yolov7_fp16.engine --fp16 --workspace=200

端口开放、持久化

sudo apt install iptables-persistent
sudo netfilter-persistent save
sudo netfilter-persistent reload设置开机自启
sudo vim /etc/rc.local
内容：：：
#!/bin/sh -e
#rc.local
sudo netfilter-persistent reload
echo "开机启动iptables" >> /usr/local/rc.log
exit 0

删除某个deb软件包：

查看软件包名 dpkg -l | grep google
卸载   sudo apt remove 名称

huggingface 克隆整个仓库：

curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
sudo apt-get install git-lfs
git lfs install
git clone https://huggingface.co/username/model_name

gradio　轻松实现AI算法可视化部署

import gradio as gr
import cv2
def to_black(image):output = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)return output
interface = gr.Interface(fn=to_black, inputs="image", outputs="image")
#                       执行指定函数　　输入类型（一张图片）　输出类型（一张图片）
# gr.Interface(inference_video,
#     [gr.inputs.Video(type="mp4", label="Input"),], 输入一个视频，在方法中得到的是视频路径
#     outputs = ['video','file'], 　输出一个视频，在界面上显示一个视频画面可以播放，另一个在下方可以点击下载
#     examples=[['inputs/onepiece_demo.mp4']])　视频例子
interface.launch()
# .launch(server_name='218.59.174.20',server_port=8094,enable_queue=True)
#          指定ｉｐ地址　　　             指定端口号　　　　　 显示队列

google浏览器无法翻译，在hosts（win：C:\Windows\System32\drivers\etc\hosts linux：/etc/hosts）中添加：

172.217.215.90 translate.googleapis.com
172.253.115.90 translate.googleapis.com
142.250.126.90 translate.googleapis.com
142.250.10.90 translate.googleapis.com
142.250.0.90 translate.googleapis.com

打开磁盘占用分析器，扫描时部分文件没有权限

sudo baobab /

ubuntu-desktop20.04 yolox+tensorrt yolov7+tensorrt推理部署相关推荐

云Ubuntu 20.04 系统下 erpnext v13 安装部署(图文并茂按步骤基本成功)
本文基于京东云,Ubuntu 20.04 ,系统安装本文全程使用"FinalShell SSH" "Noepad++" 工具一.使用ssh登录京东云 ( ...
Ubuntu 16.04+.Net Core+Docker+Nginx安装部署
前言最近公司的项目打算移植到.Net Core平台,所以调研了一下.Net Core在Linux下的安装部署.本篇文章会一步步的描述从安装到配置到部署的全部过程.在文章的结构和内容里,笔者借鉴了很多 ...
1、pth转onnx模型、onnx转tensorrt模型、python中使用tensorrt进行加速推理（全网最全，不信你打我）
本文向所有亲们介绍在python当中配置tensorrt环境.使用tensorrt环境进行推理的教程,主要分为两大部分,第一部分环境配置,第二部分前向推理. 第一部分环境配置第一步:检查你的系统类 ...
新增Transformer优化！NVIDIA最新发布TensorRT 8！推理方面取得重大突破
[导读]近日,英伟达悄悄地发布了TensorRT 8,BERT-Large推理仅需1.2毫秒!同时还加入了量化感知训练和对稀疏性的支持,实现了性能200%的提升.项目已开源. 2019年黄仁勋在GTC ...
TensorRT实现RetinaFace推理加速（一）
一.参考资料 tensorrtx/retinaface TensorRT实现yolov5推理加速(一) TensorRT实现yolov5推理加速(二) 二.实验环境 ##系统环境 Environmen ...
英伟达TensorRT 8-bit Inference推理
英伟达TensorRT 8-bit Inference推理引论 ● 目标:将FP32 CNN转换为INT8,不会造成显著的精度损失. ● 原因:Int8 Math具有更高的吞吐量和更低的内存需求. ...
基于TensorRT车辆实时推理优化
基于TensorRT车辆实时推理优化 Optimizing NVIDIA TensorRT Conversion for Real-time Inference on Autonomous Vehic ...
YOLO-v5训练自己的数据+TensorRT推理部署（2）
YOLO-v5训练自己的数据+TensorRT推理部署(2) 代码下载地址:下载地址 YOLO v5转TensorRT模型并调用 0.pt模型转wts模型 python3 gen_wts.py # 注 ...
YOLO-v5训练自己的数据+TensorRT推理部署（1）
YOLO-v5训练自己的数据+TensorRT推理部署(1) 代码下载地址:下载地址 YOLO v5在医疗领域中消化内镜目标检测的应用 YOLO v5训练自己数据集详细教程

ubuntu-desktop20.04 yolox+tensorrt yolov7+tensorrt推理部署

静态ip

显卡驱动

ubuntu-desktop20.04 yolox+tensorrt yolov7+tensorrt推理部署相关推荐

最新文章

热门文章