前言

以下所有测试基于enazoe大佬的yolo-tensorrt项目进行，坏境配置比较简单。
简单测试一下YOLOv4模型在NX和Nano上的推理速度，实际推理速度可能会有波动，如发现问题欢迎大家交流！

Jetson CUDA 算力表：

GPU	浮点算力（FP16）	整点算力（INT8）	Compute Capability
Jetson AGX Xavier	11 TFLOPS	32 TOPS	7.2
Jetson Xavier NX	6 TFLOPS	21 TOPS	7.2
Jetson TX2	1.3 TFLOPS	不支持	6.2
Jetson Nano	0.5 TFLOPS	不支持	5.3

Xavier NX 上TensorRT测试：

模型	输入尺寸	加速精度	单帧耗时	FPS
YOLOv4	608X608	FP32	200	5
		FP16	90	11
		INT8	60	12.5
	416X416	FP32	110	9
		FP16	55	18
		INT8	45	22

模型	输入尺寸	加速精度	单帧耗时	FPS
YOLOv4-tiny	608X608	FP32	35	28
		FP16	25	40
		INT8	20	50
	416X416	FP32	20	50
		FP16	15	66
		INT8	15	66

Nano上TensorRT推理测试：

模型	输入尺寸	加速精度	单帧耗时	FPS
YOLOv4	608X608	FP32	760	1.3
	608X608	FP16	570	1.7
	416X416	FP32	377	2.6
	416X416	FP16	275	3.6

模型	输入尺寸	加速精度	单帧耗时	FPS
YOLOv4-tiny	608X608	FP32	100	10
	608X608	FP16	70	14.2
	416X416	FP32	50	20
	416X416	FP16	35	28.6

Jetson NX和Nano上使用TensorRT部署YOLOv4模型速度测试相关推荐

飞桨领航团AI达人创造营4-在Jetson Nano上基于python部署Paddle Inference（硬件部署）
在Jetson Nano上基于python部署Paddle Inference(硬件部署) 一.准备好一块新鲜出炉的Jetson nano,并配好基础的开发环境 1.基础配置方法直接参考我多年来总结 ...
keras保存模型_onnx+tensorrt部署keras模型
由于项目需要,最近捣鼓了一波如何让用tensorrt部署训练好的模型来达到更快的推理速度,期间花费了大量的时间在知乎和各种网页上去搜索别人的方案,但始终没有找到我想要的条理相对清晰的记录贴(也许只是我 ...
tensorRT 部署 YOLOV5模型详解
tensorRT 部署 YOLOV5模型详解第一步: 下载tensorRT库 https://developer.nvidia.com/nvidia-tensorrt-8x-download 欢迎使 ...
tensorrt部署YOLOv5模型记录【附代码，支持视频检测】
训练出来的模型最终都需要进行工业部署,现今部署方案有很多,tensorflow和pytorch官方也都有发布,比如现在pytorch有自己的Libtorch进行部署[可以看我另一篇文章有讲利用Libt ...
yolov5模型部署：Nvidia使用TensorRT部署yolov5s模型
点上方计算机视觉联盟获取更多干货仅作学术分享,不代表本公众号立场,侵权联系删除转载于:作者丨梁彦哲@知乎(已授权) 来源丨https://zhuanlan.zhihu.com/p/38688102 ...
解锁新姿势-使用TensorRT部署pytorch模型
一.整体流程概览使用pytorch训练模型,生成*.pth文件将*.pth转换成onnx模型在tensorrt中加载onnx模型,并转换成trt的object 在trt中使用第三步转换的obje ...
20211221：Tensorrt部署解析模型uff模型
void createngine() //生成 engine {//创建builder,第一步创建buildIBuilder* builder = createInferBuilder(gLogger ...
基于Jetson NX的模型部署
系统安装系统安装过程分为3步: 下载必要的软件及镜像 Jetson Nano Developer Kit SD卡映像 https://developer.nvidia.com/jetson-nano ...
使用TensorRT 和 Triton 在Jetson NX上的模型部署
Jetson因为是基于arm的与传统基于x86的主机或服务器的模型部署略有差别,但基本类似,主要分为三步模型转换为onnx 生成基于TensorRT的推理引擎使用Triton完成部署 1.模型转换 ...

Jetson NX和Nano上使用TensorRT部署YOLOv4模型速度测试

Jetson板卡算力对比以及NX和Nano板卡上TensorRT加速测试

前言

Jetson CUDA 算力表：

Xavier NX 上TensorRT测试：

Nano上TensorRT推理测试：

Jetson NX和Nano上使用TensorRT部署YOLOv4模型速度测试相关推荐

最新文章

热门文章

Jetson NX和Nano上使用TensorRT部署YOLOv4模型速度测试

Jetson板卡算力对比 以及NX和Nano板卡上TensorRT加速测试

前言

Jetson CUDA 算力表：

Xavier NX 上TensorRT测试：

Nano上TensorRT推理测试：

Jetson NX和Nano上使用TensorRT部署YOLOv4模型速度测试相关推荐

最新文章

热门文章

Jetson板卡算力对比以及NX和Nano板卡上TensorRT加速测试