NVIDIA TensorRT：可编程推理加速器
NVIDIA TensorRT：可编程推理加速器
一．概述
NVIDIA TensorRT™是一个用于高性能深度学习推理的SDK。它包括一个深度学习推理优化器和运行时间，为深度学习推理应用程序提供低延迟和高吞吐量。
在推理过程中，基于TensorRT的应用程序执行速度比仅限CPU的平台快40倍。使用TensorRT，可以优化在所有主要框架中训练的神经网络模型，以高精度校准较低精度，最后部署到高规模数据中心、嵌入式或汽车产品平台。
TensorRT建立在NVIDIA的并行编程模型CUDA的基础上，使能够利用CUDA-X中的库、开发工具和技术，为人工智能、自动化机器、高性能计算和图形优化所有深度学习框架的推理。 TensorRT为深度学习推理应用程序（如视频流、语音识别、推荐和自然语言处理）的生产部署提供INT8和FP16优化。减少的精确推理显著减少了应用程序延迟，这是许多实时服务、自动和嵌入式应用程序的要求。
可以将每个深度学习框架中经过训练的模型导入TensorRT。在应用优化后，TensorRT选择特定于平台的内核，以在数据中心的Tesla gpu、Jetson嵌入式平台和NVIDIA驱动自主驾驶平台上实现性能最大化。
使用TensorRT，开发人员可以专注于创建新的人工智能应用程序，而不是为推理部署进行性能调整。
二．tensorRT开源代码
链接地址：https://github.com/NVIDIA/TensorRT
TensorRT Open Source Software
此存储库包含NVIDIA TensorRT的开源软件（OSS）组件。包括TensorRT插件和解析器（Caffe和ONNX）的源代码，以及演示TensorRT平台的使用和功能的示例应用程序。
Prerequisites
要构建TensorRT OSS组件，请确保满足以下包要求：
System Packages
· CUDA
Recommended
versions:
cuda-10.2 + cuDNN-7.6
cuda-10.0 + cuDNN-7.6
· GNU Make >=v4.1
· CMake >= v3.13
· Python
Recommended
versions:
Python2 >= v2.7.15
Python3 >= v3.6.5
· PIP >= v19.0
· Essential libraries and utilities
Git, pkg-config, Wget, Zlib
· Jetson平台的交叉编译需要安装JetPack的主机组件
JetPack >= 4.2
Optional Packages
· Containerized builds
Docker >= 1.12
NVIDIA Docker >= 2.0
· Code formatting tools
Clang-format
Git-clang-format
TensorRT Release
TensorRT v7.0
注意：除了TensorRT OSS组件外，还将下载以下源包，不需要在系统上安装。
ONNX-TensorRT v7.0
CUB v1.8.0
Protobuf v3.8.x
三．Availability
TensorRT可从TensorRT产品页免费向NVIDIA开发人员程序的成员提供，以进行开发和部署。最新版本的插件、解析器和示例也可以从TensorRT github存储库中以开源方式获得。 开发人员还可以从NGC容器注册中心在TensorRT容器中获取TensorRT。 TensorRT包括在：
NVIDIA Deepstream SDK，用于计算机视觉和智能视频分析（IVA）应用程序中的实时流分析 NVIDIA DRIVE用于NVIDIA
DRIVE PX2自主驾驶平台的安装
NVIDIA Jetpack for Jetson TX1、TX2嵌入式平台
NVIDIA TensorRT：可编程推理加速器相关推荐
- NVIDIA可编程推理加速器TensorRT学习笔记（二）——实操
NVIDIA可编程推理加速器TensorRT学习笔记(二)--实操 TensorRT 是 NVIDIA 自家的高性能推理库,其 Getting Started 列出了各资料入口,如下: 本文基于博 ...
- NVIDIA可编程推理加速器TensorRT学习笔记（三）——加速推理
文章目录 简单张量RT示例 将预训练的图像分割 PyTorch 模型转换为 ONNX 将 ONNX 模型导入 TensorRT,生成引擎并执行推理 对输入进行批处理 分析应用程序 优化您的应用程序 使 ...
- 线上直播 | NVIDIA TensorRT在神经机器翻译中的应用
神经机器翻译(Neural Machine Translation,简称 NMT)存在于各种各样的消费者应用程序中,包括 web 站点.路标.在外语中生成字幕等. NVIDIA 的可编程推理加速器 T ...
- 基于TensorRT的神经网络推理与加速
一. 引言 NVIDIA TensorRT是一种高性能神经网络推理(Inference)引擎,用于在生产环境中部署深度学习应用程序,应用于图像分类.分割和目标检测等,可提供最大的推理吞吐量和效率.Te ...
- 重磅 | 最全PPT实录！英伟达发布可编程AI推理加速器TensorRT
作者 | 鸽子 2017年9月26日,英伟达GPU技术峰会GTC CHINA在北京开幕.英伟达创始人兼CEO黄仁勋发表主旨演讲<AI 的趋势.挑战与机遇>. 在他的演讲中,黄仁勋提到BAT ...
- NVIDIA TensorRT高性能深度学习推理
NVIDIA TensorRT高性能深度学习推理 NVIDIA TensorRT™ 是用于高性能深度学习推理的 SDK.此 SDK 包含深度学习推理优化器和运行时环境,可为深度学习推理应用提供低延迟和 ...
- 线上报名 | 高性能深度学习推理引擎 TensorRT 实战编程讲解
NVIDIA TensorRT™ 是一种高性能深度学习推理优化器和运行时提供低延迟和高通量的深度学习推理的应用程序.使用 TensorRT,您可以优化神经网络模型,精确地校准低精度,并最终将模型部署到 ...
- 新增Transformer优化！NVIDIA最新发布TensorRT 8！推理方面取得重大突破
[导读]近日,英伟达悄悄地发布了TensorRT 8,BERT-Large推理仅需1.2毫秒!同时还加入了量化感知训练和对稀疏性的支持,实现了性能200%的提升.项目已开源. 2019年黄仁勋在GTC ...
- 基于TensorRT车辆实时推理优化
基于TensorRT车辆实时推理优化 Optimizing NVIDIA TensorRT Conversion for Real-time Inference on Autonomous Vehic ...
最新文章
- 硕士毕业两年算法工程师年终总结
- EasyUI的datebox用法
- CentOS 7.6安装 NVIDIA 独立显卡驱动（完整版）
- HDOJ 2037 今年暑假不AC 【贪心】
- 论文浅尝 | GMNN: Graph Markov Neural Networks
- 【安全测试】可怕的越权
- 电子签名 和 电子证书
- setcellvalue 格式_Java Cell.setCellValue方法代码示例
- Spring ScheduledTimerTask 定时任务执行
- python解析css文件_Python格式化css文件的方法
- java打印出货单_送货单,出货单打印用什么软件,含操作方法
- 虚拟与增强现实——输入与输出设备
- PROFINET非周期读写分析笔记
- 【报告分享】城市女性独居调查-COSMODATA100（附下载）
- 计算机组成原理简答课后答案,计算机组成原理_习题集（含答案）.doc
- STL学习之路（一）
- python整数反转倒置
- itext html to pdf设置边距,iText：设置边距是否有效？
- 第三十三课第九章Storage Structure Relationships
- django入门(超详细)