基于C#和OpenVINO在英特尔独立显卡上部署PP-TinyPose模型
1.3 在C#中调用OpenVINO Runtime API
OpenVINO™ 2022.2版开始支持英特尔独立显卡,还能通过“累计吞吐量”同时启动集成显卡 + 独立显卡助力全速AI推理。本文基于C#和OpenVINO,将PP-TinyPose模型部署在英特尔独立显卡上。
1.1 PP-TinyPose模型简介
1.1.1 PP-TinyPose框架
PP-TinyPose提供了完整的人体关键点识别解决方案,主要包括行人检测以及关键点检测两部分。行人检测通过PP-PicoDet模型来实现,关键点识别通过Lite-HRNet骨干网络+DARK关键点矫正算法来实现,如下图所示。
图 2 PP-TinyPose人体关键点识别
1.2 构建开发环境
本文构建的开发环境,如下所示:
- OpenVINOTM:2022.2.0
- OpenCV:4.5.5
- Visual Studio:2022
- C#框架:.NET 6.0
- OpenCvSharp:OpenCvSharp4
1.2.1 下载项目完整源代码
项目所使用的源码已在完整开源,读者可以直接克隆到本地。
git clone https://gitee.com/guojin-yan/Csharp_and_OpenVINO_deploy_PP-TinyPose.git
1.3 在C#中调用OpenVINO Runtime API
由于OpenVINO Runtime只有C++和Python API接口,需要在C#中通过动态链接库方式调用OpenVINO Runtime C++ API。具体教程参考《在C#中调用OpenVINO™ 模型》,对应的参考范例:https://github.com/guojin-yan/OpenVinoSharp.git
1.3.1 在C#中构建Core类
为了更方便的使用,可以在C#中,将调用细节封装到Core类中。根据模型推理的步骤,构建模型推理类:
(1)构造函数
public Core(string model_file, string device_name){// 初始化推理核心ptr = NativeMethods.core_init(model_file, device_name);}
在该方法中,主要是调用推理核心初始化方法,初始化推理核心,读取本地模型,将模型加载到设备、创建推理请求等模型推理步骤。
(2)设置模型输入形状
// @brief 设置推理模型的输入节点的大小// @param input_node_name 输入节点名// @param input_size 输入形状大小数组public void set_input_sharp(string input_node_name, ulong[] input_size) {// 获取输入数组长度int length = input_size.Length;if (length == 4) {// 长度为4,判断为设置图片输入的输入参数,调用设置图片形状方法ptr = NativeMethods.set_input_image_sharp(ptr, input_node_name, ref input_size[0]);}else if (length == 2) {// 长度为2,判断为设置普通数据输入的输入参数,调用设置普通数据形状方法ptr = NativeMethods.set_input_data_sharp(ptr, input_node_name, ref input_size[0]);}else {// 为防止输入发生异常,直接返回return;}}
(3)加载推理数据
// @brief 加载推理数据// @param input_node_name 输入节点名// @param input_data 输入数据数组public void load_input_data(string input_node_name, float[] input_data) {ptr = NativeMethods.load_input_data(ptr, input_node_name, ref input_data[0]);}// @brief 加载图片推理数据// @param input_node_name 输入节点名// @param image_data 图片矩阵// @param image_size 图片矩阵长度public void load_input_data(string input_node_name, byte[] image_data, ulong image_size, int type) {ptr = NativeMethods.load_image_input_data(ptr, input_node_name, ref image_data[0], image_size, type);}
加载推理数据主要包含图片数据和普通的矩阵数据,其中对于图片的预处理,也已经在C++中进行封装,保证了图片数据在传输中的稳定性。
(5)模型推理
// @brief 模型推理public void infer() {ptr = NativeMethods.core_infer(ptr);}
(6)读取推理结果数据
// @brief 读取推理结果数据// @param output_node_name 输出节点名// @param data_size 输出数据长度// @return 推理结果数组public T[] read_infer_result<T>(string output_node_name, int data_size) {// 获取设定类型string t = typeof(T).ToString();// 新建返回值数组T[] result = new T[data_size];if (t == "System.Int32") { // 读取数据类型为整形数据int[] inference_result = new int[data_size];NativeMethods.read_infer_result_I32(ptr, output_node_name, data_size, ref inference_result[0]);result = (T[])Convert.ChangeType(inference_result, typeof(T[]));return result;}else { // 读取数据类型为浮点型数据float[] inference_result = new float[data_size];NativeMethods.read_infer_result_F32(ptr, output_node_name, data_size, ref inference_result[0]);result = (T[])Convert.ChangeType(inference_result, typeof(T[]));return result;}}
在读取模型推理结果时,支持读取整形数据和浮点型数据。
(7)清除地址
// @brief 删除创建的地址public void delet() {NativeMethods.core_delet(ptr);}
- 完成上述封装后,在C#平台下,调用Core类,就可以方便实现OpenVINO推理程序了。
1.4 下载并转换PP-PicoDet模型
1.4.1 PP-PicoDet模型简介
Picodet_s_320_lcnet_pedestrian Paddle格式模型信息如下表所示,其默认的输入为动态形状,需要将该模型的输入形状变为静态形状。
表1 Picodet_s_320_lcnet_pedestrian Paddle格式模型信息
Input |
Output |
||
名称 |
x |
concat_8.tmp_0 |
transpose_8.tmp_0 |
形状 |
[bath_size, 3, 320, 320] |
[bath_size, 2125, 4] |
[bath_size, 1, 2125] |
数据类型 |
Float32 |
Float32 |
Float32 |
1.4.2 模型下载与转换
第一步:下载模型:
命令行直接输入以下模型导出代码,使用PaddleDetecion自带的方法,下载预训练模型并将模型转为导出格式。
导出picodet_s_320_lcnet_pedestrian模型:
python tools/export_model.py -c configs/picodet/application/pedestrian_detection/picodet_s_320_lcnet_pedestrian.yml -o export.benchmark=False export.nms=False weights=https://bj.bcebos.com/v1/paddledet/models/keypoint/tinypose_enhance/picodet_s_320_lcnet_pedestrian.pdparams --output_dir=output_inference
导出picodet_s_192_lcnet_pedestrian模型:
python tools/export_model.py -c configs/picodet/application/pedestrian_detection/picodet_s_192_lcnet_pedestrian.yml -o export.benchmark=False export.nms=False weights=https://bj.bcebos.com/v1/paddledet/models/keypoint/tinypose_enhance/picodet_s_192_lcnet_pedestrian.pdparams --output_dir=output_inference
此处导出模型的命令与我们常用的命令导出增加了export.benchmark=False和export.nms=False两个指令,主要是关闭模型后处理以及打开模型极大值抑制。如果不关闭模型后处理,模型会增加一个输入,且在模型部署时会出错。
第二步,将模型转换为ONNX格式:
该方式需要安装paddle2onnx和onnxruntime模块。导出方式比较简单,比较注意的是需要指定模型的输入形状,用于固定模型批次的大小。在命令行中输入以下指令进行转换:
paddle2onnx --model_dir output_inference/picodet_s_320_lcnet_pedestrian --model_filename model.pdmodel --params_filename model.pdiparams --input_shape_dict "{'image':[1,3,320,320]}" --opset_version 11 --save_file picodet_s_320_lcnet_pedestrian.onnx
第三步:转换为IR格式
利用OpenVINOTM模型优化器,可以实现将ONNX模型转为IR格式
mo --input_model picodet_s_320_lcnet_pedestrian.onnx --input_shape [1,3,256,192] --data_type FP16
1.5 下载并转换PP-TinyPose模型
1.5.1 PP-TinyPose模型简介
PP-TinyPose 模型信息如下表所示,其默认的输入为动态形状,需要将该模型的输入形状变为静态形状。
表2 PP-TinyPose 256×192 Paddle 模型信息
Input |
Output |
||
名称 |
image |
conv2d_441.tmp_1 |
argmax_0.tmp_0 |
形状 |
[bath_size, 3, 256, 192] |
[bath_size, 17, 64, 48] |
[bath_size,17] |
数据类型 |
Float32 |
Float32 |
Int64 |
1.5.2 模块下载与转换
第一步:下载模型:
命令行直接输入以下代码,或者浏览器输入后面的网址即可。
wget https://bj.bcebos.com/v1/paddledet/models/keypoint/tinypose_enhance/tinypose_256x192.zip
下载好后将其解压到文件夹中,便可以获得Paddle格式的推理模型。
第二步:转换为ONNX格式:
该方式需要安装paddle2onnx和onnxruntime模块。在命令行中输入以下指令进行转换,其中转换时需要指定input_shape,否者推理时间会很长:
paddle2onnx --model_dir output_inference/tinypose_256_192/paddle --model_filename model.pdmodel --params_filename model.pdiparams --input_shape_dict "{'image':[1,3,256,192]}" --opset_version 11 --save_file tinypose_256_192.onnx
第三步:转换为IR格式
利用OpenVINOTM模型优化器,可以实现将ONNX模型转为IR格式。
cd .\openvino\tools
mo --input_model paddle/model.pdmodel --input_shape [1,3,256,192] --data_type FP16
1.6 编写OpenVINO推理程序
1.6.1 实现行人检测
第一步:初始化PicoDet行人识别类
// 行人检测模型string mode_path_det = @"E:\Text_Model\TinyPose\picodet_v2_s_320_pedestrian\picodet_s_320_lcnet_pedestrian.onnx";// 设备名称string device_name = "CPU";PicoDet pico_det = new PicoDet(mode_path_det, device_name);
首先初始化行人识别类,将本地模型读取到内存中,并将模型加载到指定设备中。
第二步:设置输入输出形状
Size size_det = new Size(320, 320);pico_det.set_shape(size_det, 2125);
根据我们使用的模型,设置模型的输入输出形状。
第三步:实现行人检测
// 测试图片string image_path = @"E:\Git_space\基于Csharp和OpenVINO部署PP-TinyPose\image\demo_3.jpg";Mat image = Cv2.ImRead(image_path);List<Rect> result_rect = pico_det.predict(image);
在进行模型推理时,使用OpenCvSharp读取图像,然后带入预测,最终获取行人预测框。最后将行人预测框绘制到图片上,如下图所示。
图 3 行人位置预测结果
1.6.2 实现人体姿态识别
第一步:初始化P人体姿势识别PPTinyPose类
// 关键点检测模型// onnx格式string mode_path_pose = @"E:\Text_Model\TinyPose\tinypose_128_96\tinypose_128_96.onnx";// 设备名称string device_name = "CPU";PPTinyPose tiny_pose = new PPTinyPose(mode_path_pose, device_name);
首先初始化人体姿势识别PPTinyPose类,将本地模型读取到内存中,并加载到设备上。
第二步:设置输入输出形状
Size size_pose = new Size(128, 96);tiny_pose.set_shape(size_pose);
PP-TinyPose模型输入与输出有对应关系,因此只需要设置输入尺寸
第三步:实现姿势预测
// 测试图片string image_path = @"E:\Git_space\基于Csharp和OpenVINO部署PP-TinyPose\image\demo_3.jpg";Mat image = Cv2.ImRead(image_path);Mat result_image = tiny_pose.predict(image);
在进行模型推理时,使用OpenCvSharp读取图像,然后带入预测,最终获取人体姿势结果,如下图所示。
图 4 人体姿态绘制效果图
1.6.3 推理速度测试
本项目在蝰蛇峡谷上完成测试,CPU为i7-12700H,自带锐炬®集成显卡;独立显卡为英特尔®锐炫® A770M独立显卡+16G显存,如下图所示。
图 5 蝰蛇峡谷
测试代码已开源:基于Csharp和OpenVINO部署PP-TinyPose: 该项目基于OpenVINOTM模型推理库,在C#语言下,调用封装的OpenVINOTM动态链接库,部署推理PP-TinyPose人体关键点识别模型,实现了在C#平台调用OpenVINOTM部署PP-TinyPose人体关键点识别模型。
测试结果如下表所示
表 3 PP-PicoDet 与 PP-TinyPose 模型运行时间(ms)
推理设备 |
模型名称 |
PP-PicoDet 320×320 |
PP-TinyPose 256×192 |
FPS |
||||||
模型格式 |
模型 读取 |
加载 数据 |
模型 推理 |
结果 处理 |
模型 读取 |
加载 数据 |
模型 推理 |
结果 处理 |
||
i7-12700H |
IR-FP16 |
159.74 |
1.10 |
2.97 |
0.08 |
322.23 |
0.84 |
5.12 |
1.67 |
85 |
A770M |
IR-FP16 |
5250.30 |
1.36 |
3.77 |
0.01 |
12575.64 |
1.01 |
8.95 |
1.57 |
60 |
注: 模型读取:读取本地模型,加载到设备,创建推理通道;
加载数据:将待推理数据进行处理并加载到模型输入节点;
模型推理:模型执行推理运算;
结果处理:在模型输出节点读取输出数据,并转化为我们所需要的结果数据。
1.7 总结与未来工作展望
本文完整介绍了在C#中基于OpenVINO部署PP-TinyPose模型的完整流程,并开源了完整的项目代码。
从表3的测试结果可以看到,面对级联的小模型,由于存在数据从CPU传到GPU,GPU处理完毕后,结果从GPU传回CPU的时间消耗,独立显卡相对CPU并不具备明显优势。
未来改进方向:
- 借助OpenVINO预处理API,将预处理和后处理集成到GPU中去。
- 借助OpenVINO异步推理API,提升GPU利用率
- 仔细分析CPU和GPU之间的数据传输性能瓶颈,尝试锁页内存、异步传输等优化技术,“隐藏”CPU和GPU之间的数据传输时间消耗。
通知和免责声明:
英特尔技术可能需要支持的硬件、软件或服务激活。
没有任何产品或组件是绝对安全的。
您的费用和结果可能会有所不同。
©英特尔公司。英特尔、英特尔徽标和其他英特尔标志是英特尔公司或其子公司的商标。其他名称和品牌可能是其他方的财产。
基于C#和OpenVINO在英特尔独立显卡上部署PP-TinyPose模型相关推荐
- 在英特尔独立显卡上部署YOLOv5 v7.0版实时实例分割模型
作者:贾志刚 英特尔物联网创新大使 目录 1.1 YOLOv5实时实例分割模型简介 1.2 英特尔®消费级锐炫™ A 系列显卡简介 1.3 在英特尔独立显卡上部署YOLOv5-seg模型的完整流程 ...
- 在英特尔独立显卡上训练ResNet PyTorch模型
作者:武卓,张晶 目录 1.1 英特尔锐炫™独立显卡简介 1.2 蝰蛇峡谷简介 1.3 搭建训练PyTorch模型的开发环境 1.3.1 Windows 版本要求: 1.3.2 下载并安装最新的英特尔 ...
- AI作画升级,OpenVINO™ 和英特尔独立显卡助你快速生成视频
在<AI作画,OpenVINO™助你在英特尔GPU上随心创作>中,我们介绍了OpenVINO Notebook运行环境搭建,并利用OpenVINO™优化和加速Stable Diffusio ...
- 在英特尔独立显卡上训练TensorFlow模型
作者:武卓,张晶 目录 1.1 英特尔锐炫™独立显卡简介 1.2 蝰蛇峡谷简介 1.3 搭建训练TensorFlow模型的开发环境 1.3.1 Windows 版本要求: 1.3.2 下载并安装最新的 ...
- 用英特尔独立显卡训练AI智能收银机分类模型
作者:罗宏裕,张晶 英特尔独立显卡技术指导:唐文凯 本文将介绍在英特尔独立显卡上训练AI智能收银机分类模型的全流程,在下一篇中将介绍基于OpenVINOTM在AIxBoard上部署训练好的模型,快速实 ...
- 在英特尔硬件上部署深度学习模型的无代码方法 OpenVINO 深度学习工作台的三部分系列文章 - CPU AI 第一部
作者 Taylor, Mary, 翻译 李翊玮 关于该系列 了解如何转换.微调和打包推理就绪的 TensorFlow 模型,该模型针对英特尔®硬件进行了优化,仅使用 Web 浏览器.每一步都在云中使用 ...
- 在配有英特尔® Iris™ 显卡的系统上通过优化对 Just Cause 3 进行增强
高端 PC 继续通过高性能显卡驱动桌面游戏. 一流的"梦想机器"基于第六代智能 英特尔® 酷睿™ 处理器i7-6700K等 CPU,通常与高端独立显卡配合使用以运行要求最严苛的游戏 ...
- 在英特尔硬件上部署深度学习模型的无代码方法 关于OpenVINO深度学习工作台的三部分系列 第二部
作者 Taylor, Mary, 翻译 李翊玮 关于 OpenVINO™ 深度学习工作台的三部分系列文章 关于该系列 了解如何转换.微调和打包 推理就绪的 TensorFlow 模型,该模型针对英特尔 ...
- 在英特尔硬件上部署深度学习模型的无代码方法 OpenVINO 深度学习工作台的三部分系列 - CPU AI 第二部
作者 Taylor, Mary, 翻译 李翊玮 关于该系列 了解如何转换.微调和打包 推理就绪的 TensorFlow 模型,该模型针对英特尔®硬件进行了优化,仅使用 Web 浏览器.每一步都在云中使 ...
- 在英特尔® 架构平台上开发和优化基于 NDK 的 Android 游戏应用
作者:杜伟 Android 原生开发套件 (NDK) 是 Android SDK 的附带工具.借助该工具,您可以使用诸如 C 和 C++ 等本地代码语言实现部分应用. 您可以从以下网址下载该 NDK ...
最新文章
- LeetCode简单题之最长回文串
- Oracle 10g配置RMAN RECOVERY CATALOG
- PHP中全局变量$_POST[]和$_GET[]
- 一幅图弄清DFT与DTFT,DFS的关系
- PyTorch基础-Tensor的属性,数据,运算-01
- php代码清除空格注解,PHP文件去掉PHP注释空格的函数分析(PHP代码压缩)
- 计算机应用需要英语水平,英语对计算机专业的重要性及如何提高英语水平
- 拥抱 Android Studio 之五:Gradle 插件开发
- (转)ATOM介绍和使用
- 整数的素因子分解:Pollard rho method
- 20165320 第七周学习总结
- 基于JavaWeb的学生信息管理系统
- python办公自动化(入门)
- 显著性水平和p值的理解
- 中国智能POS终端行业市场供需与战略研究报告
- vue-amap 高德地图中使用测距插件
- JS正则表达式手机号中间4位替换成*星号
- [裴礼文数学分析中的典型问题与方法习题参考解答]5.1.4
- 【C++探索之旅】第一部分第二课:C++编程的必要软件
- Uniapp实现小程序获取用户微信信息功能
热门文章
- js设计模式-状态模式-示例(高压锅状态)
- bat 命令返回结果_bat教程[283] zip压缩
- java hl7v3_HL7标准V3开发框架中个模型的关系
- java中打印俄罗斯方块游戏_java实现俄罗斯方块小游戏
- 和橘子菇凉一起开始python之旅吧!
- VS调试C++程序,提示无法启动程序,“....exe”。系统找不到指定文件的解决方法
- python运行出现OSError: [WinError 87] 参数错误。
- python is not defined
- 论文阅读: (ECCV 2022) Content-Oriented Learned Image Compression
- 关于solidworks+workbench的参数化建模分析的一点心得1