基于Jetson NX的模型部署
系统安装
系统安装过程分为3步:
- 下载必要的软件及镜像
Jetson Nano Developer Kit SD卡映像
https://developer.nvidia.com/jetson-nano-sd-card-image
Windows版SD存储卡格式化程序
https://www.sdcard.org/downloads/formatter_4/eula_windows/
镜像烧录工具balenaEtcher
https://www.balena.io/etcher
- 格式化SD卡并写入镜像
安装Paddle
Paddle Inference 是飞桨的原生推理库, 作用于服务器端和云端,提供高性能的推理能力,在使用之前,我们需要在Jetson Nano里安装好PaddlePaddle。
sudo apt-get install python3-pip
pip3 install --upgrade pippip3 install --upgrade numpy==1.16.1cat /etc/nv_tegra_release
下载并安装与Jetpack版本对应的PaddlePaddle
下载链接: https://paddleinference.paddlepaddle.org.cn
测试PaddlePaddle
python3
import paddle
paddle.fluid.install_check.run_check()
模型准备
在部署之前,我们需要得到 Paddle 预测格式的模型: - 存储模型结构的inference.pdmodel - 存储模型参数的inference.pdiparams
获取方式有很多种,可以自己训练一个模型,并使用paddle.static.save_inference_model接口保存推理模型和参数
当然你也可以使用套件训练一个模型,然后将模型导出成推理模型,下面我们以PaddleDetection为例。
# 拉取PaddleDetection源码
git clone https://gitee.com/PaddlePaddle/PaddleDetection
# 安装依赖库
pip install pycocotools
pip install motmetrics
pip install lap
我们可以在/PaddleDetection/configs下找到很多模型,这里以ppyolo为例,选择你想导出的预训练模型。
模型权重可以在PaddleDetection的官方文档里找到。如果你想导出别的模型,直接替换下面config和weight的参数即可。
cd PaddleDetection/
python tools/export_model.py -c configs/ppyolo/ppyolo_tiny_650e_coco.yml --output_dir=./inference_model \
-o weights=https://paddledet.bj.bcebos.com/models/ppyolo_tiny_650e_coco.pdparams
推理模型准备好之后,下载到Jetson NX 即可使用。
参考资料:
- Jetson Nano初体验之写入官方Ubuntu镜像
- Jetson系列——Ubuntu18.04版本基础配置总结
- 在Jetson Nano上基于python部署Paddle Inference
- 使用 ONNX 部署 PaddleDetection 目标检测模型
基于Jetson NX的模型部署相关推荐
- 基于C++的PyTorch模型部署
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 引言 PyTorch作为一款端到端的深度学习框架,在1.0版本之后 ...
- Jetson嵌入式系列模型部署-1
目录 前言 1. What.Why and How 1.1 What 1.2 Why 1.3 How 2. tensorRT 2.1 什么是tensorRT? 2.2 tensorRT特性 2.3 t ...
- Jetson嵌入式系列模型部署-3
目录 注意事项 一.2023/2/1更新 前言 1. 源码下载 2. 环境配置 2.1 Jtop(option) 2.1.1 配置pip 2.1.2 安装jtop 2.1.3 使用jtop 2.2 编 ...
- Jetson嵌入式系列模型部署-2
目录 前言 1. 源码下载 2. 环境配置 2.1 Jtop(option) 2.1.1 配置pip 2.1.2 安装jtop 2.1.3 使用jtop 2.2 源码配置说明 3. 运行 3.1 .p ...
- 使用TensorRT 和 Triton 在Jetson NX上的模型部署
Jetson因为是基于arm的与传统基于x86的主机或服务器的模型部署略有差别,但基本类似,主要分为三步 模型转换为onnx 生成基于TensorRT的推理引擎 使用Triton完成部署 1.模型转换 ...
- 【深度学习】基于web端和C++的两种深度学习模型部署方式
深度学习 Author:louwill Machine Learning Lab 本文对深度学习两种模型部署方式进行总结和梳理.一种是基于web服务端的模型部署,一种是基于C++软件集成的方式进行部署 ...
- pytorch基于web端和C++的两种深度学习模型部署方式
本文对深度学习两种模型部署方式进行总结和梳理.一种是基于web服务端的模型部署,一种是基于C++软件集成的方式进行部署. 基于web服务端的模型部署,主要是通过REST API的形式来提供接口方便调用 ...
- 基于web端和C++的两种深度学习模型部署方式
深度学习Author:louwillMachine Learning Lab 本文对深度学习两种模型部署方式进行总结和梳理.一种是基于web服务端的模型部署,一种是基... 深度学习 Author:l ...
- 基于YOLOV5的数据集标注&训练,Windows/Linux/Jetson Nano多平台部署全流程
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 作者 | msnh2012 来源 | GiantPandaCV 编辑 | 极市平台 导读 本文将分wi ...
最新文章
- 图解梯度下降背后的数学原理
- 基于Clang的缓存型C++编译器Zapcc开源
- MySQL——Access|SQL Server示例数据库Northwind导入到MySQL 8.0时出错解决方案
- react 条件渲染
- C# 学习之路--百度网盘爬虫设计与实现(一)
- dsm php,docker dsm是什么?
- python 的输入 输出
- linux下文件的相关信息
- mysql二进制日志重置_MySQL二进制日志备份和恢复详解
- location对象相关
- python机器学习_(1)鸢尾花的分类
- undefined: resolver.BuildOption
- HTML+JS实现页面跳转
- 13 函数列与函数项级数
- Web基础(从零开始)——HTML文本域(textarea标签)
- 内网渗透-最实用的横向移动总结
- 直播预告更新 | 火爆全网的ChatGPT为什么这么强?
- Android 部分手机拍照后获取的图片被旋转
- 前端系列——与众不同的移动端底部固定栏 fixed、absolute 兼容 iOS 和 Android 方案...
- 上课笔记--台大政治学基础之美国选举制度与意识形态
热门文章
- python练习, 打鱼晒网问题
- Unity(13)-场景切换,保留资源
- 关于提高信息传输率三个方法之一——增加频带宽度
- 富士康服务器linux运维,【2019IT运维十大样板工程】富士康云桌面及智能运维项目...
- 服务器微信服务号响应变慢,微信卡顿和响应慢,教大家轻松搞定:简单操作,赶快收藏分享吧...
- python获取指定端口流量_python如何查看系统网络流量的信息
- 民航运输服务与管理类毕业论文文献有哪些?
- uni-app--》如何制作一个APP并使用?
- Comparator.comparing的使用
- 斯坦福的“计算广告学”