Pytorch模型通过paddlelite部署到嵌入式设备

Pytorch模型通过paddlelite部署到嵌入式设备
一．把模型转为嵌入式设备能够识别的格式
1.把.pt或.pth的pytorch模型转为.onnx格式中间过渡状态模型格式，github上X2paddle下面有torch2onnx转换代码。
2.把onnx转为paddlepaddle格式模型，
命令行：x2paddle --framework=onnx --model=yolov5s.onnx --save_dir=pd_model_yolov5s，savedir下面保存了paddle格式模型。
一般可以把模型合并为__model, _params两个打包文件。
命令行：python tools/merge_params.py pd_model_yolov5s/inference_model new_pd_yolov5s_model

3.通过paddlelite工具把paddle模型转为paddlelite模型( .nb格式)，支持嵌入式设备。
paddle_lite_opt --model_file=./new_pd_yolov5s_model/model --param_file=./new_pd_yolov5s_model /params --optimize_out_type=naive_buffer --optimize_out=pd_yolov5s --valid_targets=arm
如果这里转模型触发RuntimeError: Inferred shape and existing shape differ in dimension 2: (640) vs (320)，这是paddle框架的bug，我给paddle维护人员提出了该问题，已得到修复。自行修改x2paddle对应的三个文件https://github.com/PaddlePaddle/X2Paddle/pull/403

二、安装Android Studio环境，把模型导入嵌入式设备
1.Android Studio官网下载安装环境。网上搜指导文档安装即可，安装好后执行richard@richard:/usr/local/java/android-studio/bin$ ./studio.sh
2、Android工程中导入模型，编译运行。/home/richard/yangqingchuan/git_codes/X2Paddle/Paddle-Lite-Demo/PaddleLite-android-demo/object_detection_demo/app/src/main/assets这是paddlelite的demo，里面有各种模型，可以直接编译运行在嵌入式设备。我们可以把自己的模型放入models目录，训练的分类标签放入labels，预测demo图片放在images。然后编译编译文件在build目录下面。把嵌入式设备通过USB接口连接，选择设备运行。（首先会把把模型上传设备，然后在设备端执行模型，执行信息会与服务端控制台共享，在控制台可以观察日志）
注意：采用大模型运行可能会因为内存占用太多被强制kill掉。一定要选用小模型，节省内存。
参考文档：
1.https://paddle-lite.readthedocs.io/zh/latest/user_guides/x2paddle.html
2.https://github.com/PaddlePaddle/Paddle-Lite-Demo
3.https://blog.csdn.net/qq_33200967/article/details/107741168#t2

Pytorch模型通过paddlelite部署到嵌入式设备相关推荐

机器学习部署嵌入式_如何在移动和嵌入式设备上部署机器学习模型
机器学习部署嵌入式介绍 (Introduction) Thanks to libraries such as Pandas, scikit-learn, and Matplotlib, it i ...
TensorFlow与PyTorch模型部署性能比较
TensorFlow与PyTorch模型部署性能比较前言 2022了,选 PyTorch 还是 TensorFlow?之前有一种说法:TensorFlow 适合业界,PyTorch 适合学界.这种说 ...
PyTorch模型部署：pth转onnx跨框架部署详解+代码
文章目录引言基础概念 onnx:跨框架的模型表达标准 onnxruntime:部署模型的推理引擎示例代码 0)安装onnx和onnxruntime 1)pytorch模型转onnx模型 2)on ...
深度学习模型DNN部署到安卓设备上全流程示例——{pytorch-＞onnx＞ncnn-＞Android studio}
之前写过一篇文章 "Windows配置pytorch转onnx转ncnn转android设备" 如何配置环境设置,可以参考这篇如何配置目录 "Windows配置pyto ...
如何将pytorch模型部署到安卓
如何将pytorch模型部署到安卓上这篇文章演示如何将训练好的pytorch模型部署到安卓设备上.我也是刚开始学安卓,代码写的简单. 环境: pytorch版本:1.10.0 模型转化 pytorc ...
Sanic框架下部署Pytorch模型
前言本文针对业余范围的Pytorch模型部署,类似各位想把自己开发的深度学习模型上线web端demo等等. 大家比较熟悉的Python框架主要有flask,使用flask部署上线深度学习模型过程简单 ...
目标检测 YOLOv5 - v6.2版本模型在瑞芯微 Rockchip设备从训练到C++部署实践
目标检测 YOLOv5 - v6.2版本模型在瑞芯微 Rockchip设备从训练到C++部署实践 flyfish 源码地址 https://github.com/shaoshengsong/rockc ...
基于C++的PyTorch模型部署
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达引言 PyTorch作为一款端到端的深度学习框架,在1.0版本之后 ...
在C++平台上部署PyTorch模型流程+踩坑实录
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达导读本文主要讲解如何将pytorch的模型部署到c++平台上的模 ...

Pytorch模型通过paddlelite部署到嵌入式设备

Pytorch模型通过paddlelite部署到嵌入式设备相关推荐

最新文章

热门文章