onnx模型部署(一) ONNXRuntime

通常我们在训练模型时可以使用很多不同的框架，比如有的同学喜欢用 Pytorch，有的同学喜欢使用 TensorFLow，也有的喜欢 MXNet，以及深度学习最开始流行的 Caffe等等，这样不同的训练框架就导致了产生不同的模型结果包，在模型进行部署推理时就需要不同的依赖库，而且同一个框架比如tensorflow 不同的版本之间的差异较大，为了解决这个混乱问题，　LF AI 这个组织联合 Facebook, MicroSoft等公司制定了机器学习模型的标准，这个标准叫做ONNX, Open Neural Network Exchage，所有其他框架产生的模型包 (.pth, .pb) 都可以转换成这个标准格式，转换成这个标准格式后，就可以使用统一的 ONNX Runtime等工具进行统一部署。

这其实可以和 JVM 对比，
A Java virtual machine (JVM) is a virtual machine that enables a computer to run Java programs as well as programs written in other languages that are also compiled to Java bytecode. The JVM is detailed by a specification that formally describes what is required in a JVM implementation. Having a specification ensures interoperability of Java programs across different implementations so that program authors using the Java Development Kit (JDK) need not worry about idiosyncrasies of the underlying hardware platform.

JAVA中有 JAVA 语言 + .jar 包 + JVM，同时还有其他的语言比如 Scala等也是建立在 JVM上运行的，因此不同的语言只要都最后将程序转换成 JVM可以统一识别的格式，就可以在统一的跨平台 JVM JAVA 虚拟机上运行。这里JVM使用的包是二进制包，因此里面的内容是不可知的，人类难以直观理解的。

这里 ONNX 标准采取了谷歌开发 protocal buffers 作为格式标准，这个格式是在 XML, json的基础上发展的，是一个人类易理解的格式。ONNX 官网对ONNX的介绍如下：
ONNX defines a common set of operators - the building blocks of machine learning and deep learning models - and a common file format to enable AI developers to use models with a variety of frameworks, tools, runtimes, and compilers.
ONNX支持的模型来源，基本上囊括了我们日常使用的所有框架：

ONNX的文件格式，采用的是谷歌的 protocal buffers，和 caffe采用的一致。

ONNX定义的数据类包括了我们常用的数据类型，用来定义模型中的输出输出格式

ONNX中定义了很多我们常用的节点，比如 Conv,ReLU,BN, maxpool等等约124种，同时也在不停地更新中，当遇到自带节点库中没有的节点时，我们也可以自己写一个节点

有了输入输出，以及计算节点，就可以根据 pytorch框架中的 forward 记录一张模型从输入图片到输出的计算图，ONNX 就是将这张计算图用标准的格式存储下来了，可以通过一个工具 Netron对 ONNX 进行可视化，如第一张图右侧所示；
保存成统一的 ONNX 格式后，就可以使用统一的运行平台来进行 inference。

pytorch原生支持 ONNX 格式转码，下面是实例：

1. 将pytorch模型转换为onnx格式，直接傻瓜式调用 torch.onnx.export(model, input, output_name)

import torch
from torchvision import modelsnet = models.resnet.resnet18(pretrained=True)
dummpy_input = torch.randn(1,3,224,224)
torch.onnx.export(net, dummpy_input, 'resnet18.onnx')

2. 对生成的 onnx 进行查看

import onnx# Load the ONNX model
model = onnx.load("resnet18.onnx")# Check that the IR is well formed
onnx.checker.check_model(model)# Print a human readable representation of the graph
print(onnx.helper.printable_graph(model.graph))

ONNX Runtime
支持ONNX的runtime就是类似于JVM将统一的ONNX格式的模型包运行起来，包括对ONNX 模型进行解读，优化（融合conv-bn等操作），运行。

推理

import onnxruntime as rt
import numpy as  np
data = np.array(np.random.randn(1,3,224,224))
sess = rt.InferenceSession('resnet18.onnx')
input_name = sess.get_inputs()[0].name
label_name = sess.get_outputs()[0].namepred_onx = sess.run([label_name], {input_name:data.astype(np.float32)})[0]
print(pred_onx)
print(np.argmax(pred_onx)

完整代码


import torch
from torchvision import modelsnet = models.resnet.resnet18(pretrained=True)
dummpy_input = torch.randn(1,3,224,224)
torch.onnx.export(net, dummpy_input, 'resnet18.onnx')import onnx# Load the ONNX model
model = onnx.load("resnet18.onnx")# Check that the IR is well formed
onnx.checker.check_model(model)# Print a human readable representation of the graph
print(onnx.helper.printable_graph(model.graph))import onnxruntime as rt
import numpy as  np
data = np.array(np.random.randn(1,3,224,224))
sess = rt.InferenceSession('resnet18.onnx')
input_name = sess.get_inputs()[0].name
label_name = sess.get_outputs()[0].namepred_onx = sess.run([label_name], {input_name:data.astype(np.float32)})[0]
print(pred_onx)
print(np.argmax(pred_onx))

完整代码

onnx模型部署(一) ONNXRuntime相关推荐

onnx模型部署 python_onnxruntime模型部署流程
一.将训练好的模型转换格式为ONNX格式例如pytorch模型转换: def torch2onnx(model, save_path): """ :param mode ...
PyTorch模型部署：pth转onnx跨框架部署详解+代码
文章目录引言基础概念 onnx:跨框架的模型表达标准 onnxruntime:部署模型的推理引擎示例代码 0)安装onnx和onnxruntime 1)pytorch模型转onnx模型 2)on ...
java调用onnx模型_开源一年多的模型交换格式ONNX，已经一统框架江湖了？
原标题:开源一年多的模型交换格式ONNX,已经一统框架江湖了? 机器之心原创作者:思源近日,微软亚洲研究院和华为举办了 ONNX 合作伙伴研讨会,这是 ONNX 开源社区成立以来首次在中国举办的活 ...
opencv_dnn模型部署学习记录
OpenCV DNN模块--从TensorFlow模型导出到OpenCV部署详解 OpenCV DNN模块--从TensorFlow模型导出到OpenCV部署详解_南七小僧的学海无涯-CSDN博客 O ...
使用ONNXRuntime部署阿里达摩院开源DAMO-YOLO目标检测，一共包含27个onnx模型(代码开源)...
2022 点击蓝字关注我们关注并星标从此不迷路计算机视觉研究院学习群|扫码在主页获取加入方式获取代码|关注并回复"onnx部署" 01 概述 ONNXRuntime是微 ...
yolov3模型部署实战weights转onnx并推理
前言: 最近比较忙(懒),本学渣在写毕业论文(好难受),所以博客的更新不是那么有效率,哈哈: 本文的目的是用实操带你一步一步的实现darknet模型框架的部署流程:(当然darknet算法的训练在本人 ...
C++部署onnx模型（C++和Python3混合编程）
1. 纯python部署(onnx模型) import os import timeimport numpy as np import onnxruntime import json import c ...
Pytorch模型转onnx打包部署(完全脱离pytorch)
一.问题阐述: 深度学习pytorch框架在实际部署中由于其对环境和资源要求太高以及python语言的限制性,导致其部署存在重重困难,在这里介绍一下onnxruntime(GPU)的部署流程. 二.o ...
【Pytorch基础教程33】算法模型部署（MLFlow/ONNX/tf serving）
内容概况服务器上训练好模型后,需要将模型部署到线上,接受请求.完成推理并且返回结果. 保存模型结构和参数最简单的是torch.save保存为checkpoint,但一般用于训练时记录过程,训练中断可 ...

onnx模型部署(一) ONNXRuntime

完整代码

onnx模型部署(一) ONNXRuntime相关推荐

最新文章

热门文章