【pytorch】torch2trt
1,介绍
torch2trt 是一个易于使用的PyTorch到TensorRT转换器
2,安装
sudo apt-get install libprotobuf* protobuf-compiler ninja-build
git clone https://github.com/NVIDIA-AI-IOT/torch2trt
cd torch2trt
python setup.py install --plugins # 虚拟环境
3,应用
# -*- coding: utf-8 -*-
import torchvision
import torch
from torch2trt import torch2trtdata = torch.randn((1, 3, 224, 224)).cuda().half()
model = torchvision.models.resnet18(pretrained=True).cuda().half().eval()
output = model(data)# pytorch -> tensorrt
model_trt = torch2trt(model, [data], fp16_mode=True)
output_trt = model_trt(data)# compare
print('max error: %f' % float(torch.max(torch.abs(output - output_trt))))
print("mse :%f" % float((output - output_trt)**2))# save tensorrt model
torch.save(model_trt.state_dict(), "resnet18_trt.pth")# load tensorrt model
from torch2trt import TRTModule
model_trt = TRTModule()
model_trt.load_state_dict(torch.load('resnet18_trt.pth'))
【pytorch】torch2trt相关推荐
- 【金融】【pytorch】使用深度学习预测期货收盘价涨跌——全连接神经网络模型构建与训练
[金融][pytorch]使用深度学习预测期货收盘价涨跌--全连接神经网络模型构建与训练 模型构建与训练 模型构建与训练 def get_accuracy(SR,GT,threshold=0.5):S ...
- 【金融】【pytorch】使用深度学习预测期货收盘价涨跌——LSTM模型构建与训练
[金融][pytorch]使用深度学习预测期货收盘价涨跌--LSTM模型构建与训练 LSTM 创建模型 模型训练 查看指标 LSTM 创建模型 指标函数参考<如何用keras/tf/pytorc ...
- 【Pytorch】model.train() 和 model.eval() 原理与用法
文章目录 一.两种模式 二.功能 1. model.train() 2. model.eval() 为什么测试时要用 model.eval() ? 3. 总结与对比 三.Dropout 简介 参考链接 ...
- 【PyTorch】 tensor.squeeze压缩维度
[PyTorch] tensor.squeeze压缩维度 1.背景 2.squeeze方法 3.示例 1.背景 pytorch的tensor维度扩展.压缩是一个常见的操作, tensor维度扩展参见如 ...
- 【Pytorch】| Pytorch中softmax的dim的详细总结
[Pytorch]| Pytorch中softmax的dim的详细总结 关于softmax的理解 一维向量:dim=0和dim=-1结果相同,dim=1和dim=2会报错 二维张量:dim=1和dim ...
- 【Pytorch】常见的人脸身份识别损失函数
[Pytorch]常见的人脸身份识别损失函数 实验环境准备:人脸多角度多光照的图像数据集MUCT(276个受试者)+ MobileNetV3 说明:对于人脸身份数据集MUCT,是少样本数据集,应该使用 ...
- 【pytorch】过拟合的应对办法 —— 丢弃法(dropout)
文章目录 一.什么是丢弃法,为什么丢弃法可以缓解过拟合? 二.丢弃法的手动实现 三.丢弃法的pytorch实现 参考 关于过拟合.欠拟合的解释可以参考我的博文:[pytorch]过拟合和欠拟合详解,并 ...
- 【PyTorch】03数据处理
3 PyTorch数据处理 3.1 数据读取机制DataLoader与Dataset [PyTorch]2.1 DataLoader与Dataset epoch:对训练集的全部数据进行一次完整的训练, ...
- 【pytorch】——torch.hub
[pytorch]--torch.hub Facebook官方博客表示,PyTorch Hub是一个简易API和工作流程,为复现研究提供了基本构建模块,包含预训练模型库.并且,PyTorch Hub还 ...
最新文章
- list vue 删除后页面渲染_浅谈Vue项目实战(页面渲染+事件绑定)
- MySQL INT、TINYINT、SMALLINT、MEDIUMINT、BIGINT(整数类型)
- du,df,fdisk,mkfs.ext3命令详解
- 天堂里的游戏(51Nod-1417)
- Linux用户资源限制-ulimit
- Android集成支付宝支付
- python如何在函数中使用全局变量
- 小程序 Serverless: 解放生产力,驱动研发效能提升
- 做一个简易jsp项目的详细开发流程及步骤
- java 休眠_Java中 休眠(sleep)
- 使用Arduino IDE来编写上传STM32以及STM8代码,STM32Duino教程
- 环信的使用以及注意事项!
- UE4 无需切线空间应用凹凸贴图
- IOS APP 隐私政策
- 美颜sdk算法总概——美白
- Win10“启动”文件夹在哪里?如何打开Win10启动文件夹?
- 7.5 ZUFEIOJ E: 守望者的逃离 贪心
- 安全意识培训:如何提高员工网络安全意识?
- 解决org.apache.ibatis不存在的问题
- 训练过程--梯度下降算法(SGD、adam等)
热门文章
- java.lang.IllegalArgumentException错误,小记一下
- 经典:DotNetBar Suite UI 7.9 for WPF Crack
- protractor环境安装
- 微信公众账号的订阅号与服务号有什么区别?
- Intouch学习笔记—新建工程
- 数据结构 —— 广义表
- android pak文件_xpak是什么文件 怎么安装xapk文件 和apk有什么区别
- 「底层原理」一层层剥开文件系统的面纱,彻底理解Linux文件系统
- POI操作excel基础用法详解
- 映射报错怎么解决 Ambiguous mapping. Cannot map ‘basicPersonStreamDataController‘ method