1、ocr关于onnxruntime gpu c++代码

OCR 跨平台工程化onnxruntime gpu c++代码
网上关于onnxruntime运行在gpu环境下运行OCR模型的代码较少，经过查阅，其实就是在初始化模型的时候这样写就可以了

void DbNet::setNumThread(int numOfThread) {numThread = numOfThread;//===session options===// Sets the number of threads used to parallelize the execution within nodes// A value of 0 means ORT will pick a default//sessionOptions.SetIntraOpNumThreads(numThread);//set OMP_NUM_THREADS=16// Sets the number of threads used to parallelize the execution of the graph (across nodes)// If sequential execution is enabled this value is ignored// A value of 0 means ORT will pick a defaultsessionOptions.SetInterOpNumThreads(numThread);// Sets graph optimization level// ORT_DISABLE_ALL -> To disable all optimizations// ORT_ENABLE_BASIC -> To enable basic optimizations (Such as redundant node removals)// ORT_ENABLE_EXTENDED -> To enable extended optimizations (Includes level 1 + more complex optimizations like node fusions)// ORT_ENABLE_ALL -> To Enable All possible opitmizationssessionOptions.SetGraphOptimizationLevel(GraphOptimizationLevel::ORT_ENABLE_EXTENDED);
}void DbNet::initModel(const std::string &pathStr) {#ifdef _WIN32std::wstring dbPath = strToWstr(pathStr);session = new Ort::Session(env, dbPath.c_str(), sessionOptions);
#elseOrtSessionOptionsAppendExecutionProvider_CUDA(sessionOptions, 0);session = new Ort::Session(env, pathStr.c_str(), sessionOptions);
#endifgetInputName(session, inputName);getOutputName(session, outputName);
}

OrtSessionOptionsAppendExecutionProvider_CUDA(sessionOptions, 0);

这行代码就是将模型运行在gpu0上

  sessionOptions.SetInterOpNumThreads(numThread);

这行代码是设置op线程数量

参考：OCR 跨平台工程化onnxruntime gpu c++代码

onnxruntime gpu 推理相关推荐

yolov5 onnxruntime c++在linux平台上GPU推理环境搭建整体流程
前言最近在学习yolov5模型,然后用onnxruntime在linux平台上搭建一个GPU推理环境,运行一下,顺带记录一下环境搭建的整体过程,记录一下踩坑经历,造福后来人,也避免自己忘记了,可以回 ...
YOLOv5在C++中通过Onnxruntime在window平台上的cpu与gpu推理
InferOnnx项目本项目gitee链接:点击跳转本项目资源链接:点击跳转欢迎批评指正. 环境设置 CPU:i5-9400F GPU:GTX1060 参考文档 yolov5使用onnxrunt ...
onnx标准 onnxRuntime加速推理引擎
onnx标准 & onnxRuntime加速推理引擎文章目录 onnx标准 & onnxRuntime加速推理引擎一.onnx简介二.pytorch转onnx 三.tf1.0 / ...
移动端 GPU 推理性能提升 2 倍！TensorFlow 推出新 OpenCL 后端
本文转载自TensorFlow. 文 / 软件工程师 Juhyun Lee 和 Raman Sarokin TensorFlow Lite (TFLite) GPU 团队在不断改进现有基于 OpenG ...
pp-tracking ubuntu 18.04使用GPU推理出现Segmentation fault
目录 1. 报错 2. 报错原因 3. conda环境指定cuda 10.2和cudnn 7.6.5 3.1. 安装cuda 10.2 3.2. 安装cudnn 7.6.5 3.3. conda环境指 ...
Java / Tensorflow - API 调用 pb 模型使用 GPU 推理
目录一.引言二.Java / Tensorflow 代码配置 1.代码配置 2.Maven 配置三.环境检测 1.显卡检测 2.显卡监控四.推理踩坑 1.异常现象 2.异常日志五.安装 cu ...
GPU推理和端侧NPU推理的一处不同
端侧AI推理主要使用NPU完成,为了在性能,功耗和面积和通用性之间取得平衡,主流NPU采用了加速器架构,将算子固化在硬件中,并辅以可编程单元执行一些自定义算子/长尾算子兼顾灵活性.在计算方面,为了提高 ...
GPU加速：宽深度推理
GPU加速:宽深度推理 Accelerating Wide & Deep Recommender Inference on GPUs 推荐系统推动了许多最流行的在线平台的参与.随着为这些系统提 ...
推理速度数倍提升，大幅简化多GPU后端部署：Meta发布全新推理引擎AITemplate
来源丨机器之心刚刚,Meta 发布了革命性的推理引擎 AITemplate.测试结果显示,相比 PyTorch Eager,AITemplate 在 NVIDIA GPU 上实现了最高 12 倍的性 ...

onnxruntime gpu 推理

onnxruntime gpu 推理

1、ocr关于onnxruntime gpu c++代码

onnxruntime gpu 推理相关推荐

最新文章

热门文章