TensorRT学习笔记2 - 基础知识
目录
- TensorRT是什么
- TensorRT怎么用
- 相关链接
TensorRT是什么
大家或多或少都训练过神经网络，比如LeNet、YOLO、SSD等。我们也都知道，模型的训练速度和测试速度大幅依赖于GPU的性能。但是如果想在生活中使用这些方法（目标检测、人脸识别等），比如在手机中使用目标检测方法，我们不可能在手机中安装一个GPU集群。但是不用GPU就会导致测试速度变慢，咋办？
NVIDIA推出了TensorRT，它可以加速高性能推理（high performance inference），使用TensorFlow、Caffe、PyTorch等训练好的模型进行预测（推理），在精度下降很少的同时，大幅提高推理速度。
模型训练的时候因为要保证前后向传播，每次梯度的更新是很微小的，这个时候需要相对较高的精度，一般来说需要float型，如FP32，32位的浮点型来处理数据，但是在推断（Inference）的时候，对精度的要求没有那么高，很多研究表明可以用低精度，如半长（16）的float型，即FP16，也可以用8位的整型（INT8）来做推断（Inference），没有特别大的精度损失。
TensorRT怎么用
在使用TensorRT的过程中，我们的设备上无需安装TensorFlow、Caffe等框架，可以直接对各种框架训练好的模型进行解析，将其转换为"TensorRT Runtime Engine"
TensorRT工作的基本过程如下：(1).得到GIE模型，这里包括两种方法：使用训练好的模型转化 or 自己构建GIE模型（可参考sampleMNIST_API）；(2).运行GIE；(3).得到结果。
但是，TensorRT中只实现了一部分常用层，比如conv、pool、concat等，如果要用到更加复杂或者特定的层，需要使用plugin实现custom layer。一个简单的教程在这里。
相关链接
- 下载链接
- 安装教程
- TensorRT简介
- 入门Samples教程
- 官方Doc(c_api)
- 官方Doc(py_api)
- CUDA Doc
TensorRT学习笔记2 - 基础知识相关推荐
- php基础教学笔记,php学习笔记：基础知识
php学习笔记:基础知识 2.每行结尾不允许有多余的空格 3.确保文件的命名和调用大小写一致,是由于类Unix系统上面,对大小写是敏感的 4.方法名只允许由字母组成,下划线是不允许的,首字母要小写,其 ...
- 【学习笔记--FMCW基础知识】
学习笔记--FMCW基础知识 前言 mmWave测距原理 mmWave区分多个物体 mmWave的距离分辨率(Range Solution) mmWave的最大测量距离 前言 由于工作原因需要了解TI ...
- HTML5学习笔记 —— JavaScript基础知识
HTML5学习笔记 -- JavaScript基础知识 标签: html5javascriptweb前端 2017-05-11 21:51 883人阅读 评论(0) 收藏 举报 分类: JavaScr ...
- SAS学习笔记1——基础知识（库、PDV、变量选择、观测值排序、创建新变量
SAS学习笔记1--基础知识 1.逻辑库.临时库.永久库 2.数据步 2.1数据步语法 2.2 数据步的编译和执行过程 2.3变量的选择 2.3.1 keep和drop语句 2.4变量的重命名rena ...
- JS学习笔记——入门基础知识总结
JS入门基础知识总结1 前言 基础背景知识 一.产生历史: 二.特点: 三.应用方向: 四.Javascript组成: JavaScript书写使用方式 一.行内式(了解即可,项目中不使用,日常练习尽 ...
- 《UNIX 环境高级编程》学习笔记——UNIX 基础知识
UNIX环境高级编程--UNIX 基础知识 引言 UNIX 体系结构 登录 文件和目录 输入和输出 程序和进程 出错处理 用户标识 信号 时间值 系统调用和库函数 引言 所有操作系统都为它们所允许的程 ...
- 单片机学习笔记——微机基础知识
微机基础知识 微处理器,微机和单片机概念 微处理器的组成 一.运算器 主要寄存器 主要寄存器(IR),指令译码器(ID) 程序计数器(PC) 地址寄存器(AR) 二.控制器 存储器和输入输出接口 一. ...
- CAN总线学习笔记 | CAN基础知识介绍
一.CAN协议 1.1 CAN协议简介 CAN 是控制器局域网络 (Controller Area Network) 的简称,它是由研发和生产汽车电子产品著称的德国 BOSCH 公司开发的,并最终成为 ...
- WebGL学习笔记（基础知识篇）
WEBGL基础知识介绍 1.场景(scene) 场景如其名,即显示3D空间内物体的容器,就好比一个箱子是一个3D场景. 2.坐标系: webgl使用笛卡尔坐标系(宽度.高度和深度),我们也可以指定使用 ...
最新文章
- MVC 之 架构的基本原理及Asp.Net实现MVC
- linux time 统计命令执行的时间
- Convert Sorted Array to Binary Search Tree - LeetCode
- Rabbitmq如何保证消息顺序执行
- 光猫直连电脑不能上网_电脑插上网线不能上网怎么办
- Hibernate4实战 之 第四部分：关系映射
- MongoDB（五）-- 副本集（replica Set）
- 怎么让电脑屏幕一直亮着_上班族需要注意哪些养生禁忌 一直坐着没好处_百姓民生_新闻...
- 【java异常】No enum constant org.apache.ibatis.type.JdbcType.number
- 【个人笔记】OpenCV4 C++ 图像处理与视频分析 04课
- Python编程语言中获取操作系统进程信息的方法
- 为什么Eclipse Iceoryx使用Helix QAC
- 【Tableau Desktop 企业日常问题28】Tableau 如何发布到public ?
- 计算机网络和共享中心打不开,Win7系统网络和共享中心打不开如何解决
- FineReport10 决策报表常用javascript脚本
- 第一次登陆阿里云ECS云服务器及其配置
- rz安装 xshell_Linux与windows之间文件传输工具RZSZ安装（Xshell或CRT）
- 7.Docker容器使用辅助工具汇总
- Python编程：从入门到实践+爬虫开发与项目实战+网络编程基础+项目开发实战
- Suzy找到实习了吗Day25 | 回溯算法进行时：216. 组合总和 III，17电话号码