TensorRT - 喜大普奔，TensorRT8.2 EA起开始支持Einsum爱因斯坦求和算子
1 TensorRT 8.2 EA版本支持爱因斯坦求和算子Einsum
NVIDIA在2021年10月6日发布的TensorRT新版本 8.2 Early Access版本终于开始支持爱因斯坦求和算子Einsum，这个消息真是为模型工业化部署的同学省了不少的时间。
TensorRT中具体可支持的Onnx算子可参考：https://github.com/onnx/onnx-tensorrt/blob/master/docs/operators.md，
但是目前Einsum也是支持大部分等式，暂不支持省略号和对角线操作。
目前我已经使用TensorRT 8.2 EA版本对einsum算子转换进行了测试，真的是可以用了！
1.1 Tensor 8.2 EA支持Einsum算子的意义
在TensorRT 8.2 Early Access发布之前，如果深度学习模型中包含Einsum操作，比如pytorch中的torch.einsum或者Tensorflow中的tf.einsum的操作，那么可以成功转换成onnx模型，但是使用TensorRT的trtexec工具将onnx模型转换成TensorRT模型时，就会出现找不到Plugin:Einsum的操作，需要我们自定义插件去支持Einsum算子，
目前在Github上也有人开源自己写的Einsum插件：https://github.com/xn1997/TensorRT-EinsumPlugin/，但是这个插件目前只支持nctkv,kvw->nctw的算子操作，其他的需要自己去实现。
还有的方式是将这种Einsum算子在python层面直接改写成Pytorch或者Tensorflow的常规算子操作，具体可参考https://www.stubbornhuang.com/1741/或者 https://stubbornhuang.blog.csdn.net/article/details/120654252。
现在NVIDIA官方开始支持Einsum算子操作，为深度学习模型的工业化部署节省了太多的时间。虽然省略号和对角线操作暂不支持，但是在深度学习模型中大部分使用的是矩阵乘积或者batch乘积的功能，影响还是比较小的。
如果有兴趣，可以访问我的个站：https://www.stubbornhuang.com/，更多干货！
TensorRT - 喜大普奔，TensorRT8.2 EA起开始支持Einsum爱因斯坦求和算子相关推荐
- python 函数作用于矩阵_图解NumPy：常用函数的内在机制
原标题:图解NumPy:常用函数的内在机制 来源: 机器之心 支持大量多维数组和矩阵运算的 NumPy 软件库是许多机器学习开发者和研究者的必备工具,本文将通过直观易懂的图示解析常用的 NumPy 功 ...
- win10安装yolox，训练自定义模型，使用tensorrt部署全流程
系统环境:win10.cuda10.2.cudnn8.2 一.采集数据 有2段视频,先使用ffmpeg对视频进行抽帧,由于视频比较长,所以每隔5秒抽取1张图片. ffmpeg -i light000. ...
- TensorRT加速 ——NVIDIA终端AI芯片加速用，可以直接利用caffe或TensorFlow生成的模型来predict（inference）...
官网:https://developer.nvidia.com/tensorrt 作用:NVIDIA TensorRT™ is a high-performance deep learning inf ...
- TVM vs TensorRT比较
TVM vs TensorRT比较 如果理解正确的话,TensorRT和TVM会加快预测速度. TensorRT优化预测GPU和TVM优化预测几乎所有平台支持GPU,ARM,Mobile... 两者在 ...
- Python API vs C++ API of TensorRT
Python API vs C++ API of TensorRT 本质上,C++ API和Python API应该在支持您的需求方面接近相同.pythonapi的主要优点是数据预处理和后处理都很容易 ...
- TensorRT 加速性能分析
TensorRT 加速性能分析 Out-of-the-box GPU Performance 模型推理性能是什么意思?在为用户评估潜在的候选项时,不测量数据库查询和预筛选(例如决策树或手动逻辑)的贡献 ...
- YOLOV5 v6.1更新 | TensorRT+TPU+OpenVINO+TFJS+TFLite等平台一键导出和部署
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 作者丨ChaucerG 来源丨集智书童 yolov5 release 6.1版本增加了TensorRT ...
- Linux拜拜！微软给WSL加入GPU支持，Windows终于迎来命令行包管理工具
点击上方"AI遇见机器学习",选择"星标"公众号 重磅干货,第一时间送达 白交 发自 凹非寺 量子位 报道 | 公众号 QbitAI 看完昨晚微软Build大 ...
- Mxnet TensorRT
Optimizing Deep Learning Computation Graphs with TensorRT CUDA9.0或9.2 Pascal或更新架构的显卡 下载并安装TensorRT库 ...
最新文章
- R语言使用scales包的hue_pal函数获取ggplot2任何级别的离散色码、使用scales包的hue_pal函数获取ggplot2任何级别的反序（reverse）离散色码
- python 加密和解密
- Android Fragment 基本介绍
- JSTL标签显示动态控件
- Eclipse——WindowBuilder下载错误导致的安装失败解决方案
- discovery_01
- Error creating bean with name ‘userController‘: Unsatisfied dependency expre
- 2015年上半年 软件设计师 上午试卷 综合知识-2
- 电钻有刷好还是无刷好_高中物理好的来看看，永磁同步直流电机是怎样实现无刷驱动的？...
- sass webpack_如何在Visual Studio和Webpack中编译Sass文件
- 命令窗口ping oracle,Oracle中tnsping命令解析
- 感应联动不是梦，穿透屏幕“闻”见花香你敢信？
- python phpstudy_python有没有像phpstudy那样的工具
- WinCE设备仿真器+虚拟串口+GPS模拟器搭建开发测试环境
- 禅道下载mysql_本地已有mysql 数据库，安装禅道后数据库访问不了
- 对外汉语偏误语料库_BCC语料库
- mac桌面文件不见了怎么办？
- 计算机课题推荐人意见,课题申请推荐人意见怎么写
- uplift模型实战代码
- 5款最好的安卓界面设计工具推荐