TensorRT 数据格式说明

TensorRT 数据格式说明
NVIDIA ® TensorRT™支持不同的数据格式。需要考虑两个方面：数据类型和布局。
数据类型格式
数据类型是每个单独值的表示。它的大小决定了数值的范围和表示的精度；分别是FP32（32位浮点或单精度），FP16（16位浮点或半精度），INT32（32位整数表示）和INT8（8位表示）。
布局格式
布局格式决定了存储值的顺序。通常，批次维度是最左侧的维度，其它维度指的是每个数据项的各个方面，例如C 是频道 H 是高度，并且 w ^是宽度（以图片为单位）。总是忽略在这些之前的批量大小，C， H和 w ^ 通常依据以下示意图中。

定义了更多格式，以将通道值打包在一起并降低精度。因此，TensorRT也支持格式 NC/2HW2 和 NHWC8。
在 NC/2HW2，每对通道值打包在一起高宽矩阵（在奇数通道的情况下为空值）。结果是一种格式，其中的值 ⌈C/2⌉高宽矩阵是两个连续通道的值对。
This ordering interleaves dimensions as values of channels that have stride 1 if they are in the same pair and stride 2xHxW otherwise.

在 NHWC8， HxW矩阵包含所有通道的值。此外，这些值打包在一起⌈C/8⌉ 8元组里， C 四舍五入到最接近的8的倍数。

TensorRT 数据格式说明相关推荐

NVIDIA® TensorRT™ supports different data formats
NVIDIA® TensorRT™ supports different data formats NVIDIA®TensorRT公司™ 支持不同的数据格式.需要考虑两个方面:数据类型和布局. 数据类 ...
干货 | YOLOV5 训练自动驾驶数据集，并转Tensorrt，收藏！
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达本文转自|AI算法与图像处理准备数据集环境配置配置文件修改 ...
TensorRT学习笔记（三）
TENSORRT工作流程: 下表列出了TensorRT功能及其支持的API. 下列表显示TensorRT支持的平台关键词: UFF: 通用框架格式(UFF)是描述DNN(深度神经网络)的执行图的数据 ...
tensorflow打印模型图_[深度学习]TensorRT加速tensorflow实例
使用TensorRT加速tensorflow模型的推理应该是很有市场的一种应用了,但是使用Python的.易懂的例子并不多,官方的文档在这方面也是很不友好. 所以,本文旨在提供一个能把原理讲明白,代码 ...
探讨TensorRT加速AI模型的简易方案 — 以图像超分为例
AI模型近年来被广泛应用于图像.视频处理,并在超分.降噪.插帧等应用中展现了良好的效果.但由于图像AI模型的计算量大,即便部署在GPU上,有时仍达不到理想的运行速度.为此,NVIDIA推出了Tenso ...
tensorrt轻松部署高性能dnn推理_部署环境之：tensorRT的插件
TensorRT是一个高性能的深度学习推理(Inference)优化器,可以为深度学习应用提供低延迟.高吞吐率的部署推理.TensorRT可用于对超大规模数据中心.嵌入式平台或自动驾驶平台进行推理加速 ...
TensorRT详细入门指南
前言大名鼎鼎的TensorRT有多牛逼就不多说了,因为确实很好用. 作为在英伟达自家GPU上的推理库,这些年来一直被大力推广,更新也非常频繁,issue反馈也挺及时,社区的负责人员也很积极,简直不要 ...
使用TensorRt搭建自己的模型
使用TensorRt搭建自己的模型文章目录使用TensorRt搭建自己的模型前言一.问题二.搭建过程三.搭建网络过程肯定会出错,debug是必要的手段: 总结前言在推理过程中,基于 T ...
TensorRT加速
整体加速过程 1.将tensorflow训练生成的.h5模型结构权重文件转换成.pb的模型文件. 2.将.pb模型文件转换成uff格式的文件并进行解析,同时生成TensorRT的engine. 3.调 ...

TensorRT 数据格式说明

TensorRT 数据格式说明相关推荐

最新文章

热门文章