RetinaFace Mxnet转TensorRT

1. github开源代码
RetinaFace TensorRT推理的开源代码位置在https://github.com/linghu8812/tensorrt_inference/tree/master/RetinaFace

https://github.com/jacke121/tensorrt_inference

文章目录
RetinaFace MXNet模型转ONNX转TensorRT
1. github开源代码
2. MXNet模型转ONNX模型
3. ONNX模型转TensorRT模型
3.1 概述
3.2 编译
3.3 运行
4. 推理结果
RetinaFace MXNet模型转ONNX转TensorRT

2. MXNet模型转ONNX模型
首先通过命令git clone https://github.com/deepinsight/insightface.gitclone insightface的代码，然后将export_onnx.py文件拷贝到./detection/RetinaFace或者./detection/RetinaFaceAntiCov文件夹中，通过以下命令生成ONNX文件。对于RetinaFace-R50，RetinaFace-MobileNet0.25和RetinaFaceAntiCov这几个模型都可以支持。通过以下命令可以导出模型：

导出resnet50模型
python3 export_onnx.py

导出mobilenet 0.25模型
python3 export_onnx.py --prefix ./model/mnet.25

导出RetinaFaceAntiCov模型
python3 export_onnx.py --prefix ./model/mnet_cov2 --network net3l

同YOLOv4模型一样，对输出结果也做了concat，如下图所示：

输出矩阵的第一列为人脸的得分，第2到5列为人脸检测框的坐标，第6到15列为人脸关键点的位置。

3. ONNX模型转TensorRT模型
3.1 概述
TensorRT模型即TensorRT的推理引擎，代码中通过C++实现。相关配置写在config.yaml文件中，如果存在engine_file的路径，则读取engine_file，否则从onnx_file生成engine_file。

void RetinaFace::LoadEngine() {
// create and load engine
std::fstream existEngine;
existEngine.open(engine_file, std::ios::in);
if (existEngine) {
readTrtFile(engine_file, engine);
assert(engine != nullptr);
} else {
onnxToTRTModel(onnx_file, engine_file, engine, BATCH_SIZE);
assert(engine != nullptr);
}
}

config.yaml文件可以设置batch size，图像的size及模型的anchor等。

RetinaFace:
onnx_file: "../R50.onnx"
engine_file: "../R50.trt"
BATCH_SIZE: 1
INPUT_CHANNEL: 3
IMAGE_WIDTH: 640
IMAGE_HEIGHT: 640
obj_threshold: 0.5
nms_threshold: 0.45
detect_mask: False
mask_thresh: 0.5
landmark_std: 1
feature_steps: [32, 16, 8]
anchor_sizes: [[512, 256], [128, 64], [32, 16]]

3.2 编译
通过以下命令对项目进行编译，生成RetinaFace_trt

mkdir build && cd build
cmake ..
make -j
1
2
3
3.3 运行
通过以下命令运行项目，得到推理结果

RetinaFace模型推理
./RetinaFace_trt../config.yaml ../samples
1
RetinaFaceAntiCov模型推理
./RetinaFace_trt ../config_anti.yaml ../samples
1
4. 推理结果
RetinaFace推理结果：

RetinaFaceAntiCov推理结果：

————————————————
版权声明：本文为CSDN博主「芦花似雪」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/linghu8812/article/details/110677016

RetinaFace Mxnet转TensorRT相关推荐

Mxnet TensorRT
Optimizing Deep Learning Computation Graphs with TensorRT CUDA9.0或9.2 Pascal或更新架构的显卡下载并安装TensorRT库 ...
Retinaface c++
https://github.com/wzj5133329/retinaface_caffe 官方retinaface(mxnet实现) :https://github.com/deepinsight ...
【TensorRT】将 PyTorch 转化为可部署的 TensorRT
文章目录一.什么是 ONNX 二.PyTorch 转 ONNX 三.什么是 TensorRT 四.ONNX 转 TensorRT 在深度学习模型落地的过程中,会面临将模型部署到边端设备的问题,模型训 ...
ML模型部署-工具箱
ML模型部署-工具箱 Machine Learning模型部署涉及两大工程部分,服务优化和模型优化.服务优化就是大家熟知的后端开发优化,涉及的指标有吞吐量.响应时间.CPU占用和服务内存占用等.而模型 ...
采用 NVIDIA DGX A100 系统和 Mellanox 频谱以太网交换机的 NetApp ONTAP AI NVA 设计（上）
采用 NVIDIA DGX A100 系统和 Mellanox 频谱以太网交换机的 NetApp ONTAP AI NVA 设计 NetApp 公司 David Arnette 和 Sung-Han ...
TensorRT实现RetinaFace推理加速（一）
一.参考资料 tensorrtx/retinaface TensorRT实现yolov5推理加速(一) TensorRT实现yolov5推理加速(二) 二.实验环境 ##系统环境 Environmen ...
retinaface tensorRT
https://zhuanlan.zhihu.com/p/86827710 https://www.jianshu.com/p/14ddc581fee8 http://manaai.cn/aicode ...
ONNX+TensorRT
使用ONNX+TensorRT部署人脸检测和关键点250fps This article was original written by Jin Tian, welcome re-post, firs ...
TensorRT简介
TensorRT 介绍引用:https://arleyzhang.github.io/articles/7f4b25ce/ 1 简介 TensorRT是一个高性能的深度学习推理(Inference) ...

RetinaFace Mxnet转TensorRT

RetinaFace Mxnet转TensorRT相关推荐

最新文章

热门文章