英伟达深度学习推理引擎TensorRT，现在开源了

https://www.toutiao.com/a6703740623364555271/

2019-06-18 13:37:53

机器之心报道

参与：李亚洲、李泽南、思

英伟达的深度学习推理引擎TensorRT是连接神经网络框架与GPU之间的桥梁，它支持所有种类的神经网络框架，近期也实现了容器化，目前的TensorRT是5.1版。6月17日，英伟达宣布了TensorRT的开源。

项目链接：https://github.com/NVIDIA/TensorRT

本次开源的内容是英伟达 TensorRT 的一部分，其中包括 TensorRT 的插件与一些解析器（Caffe 和 ONNX），以及演示 TensorRT 平台的使用和功能的示例应用程序。相信未来更多的内容也会持续开源。

TensorRT 是一个高性能深度学习推理平台，能够为在英伟达 GPU 上运行的语音、视频等 APP 提供更低地延迟、更高的吞吐量。TensorRT 包含输入模型的解析器、支持全新 ops 的插件以及在利用优化进行推理之前的层。

今日，英伟达宣布开源 TensorRT 中的解析器和插件部分，以便于深度学习社区能够做自定义、扩展组件，从而更好的利用 TensorRT 进行 app 优化。

TensorRT 的 GitHub 项目目前已经开放了，其包括贡献指南，它会告诉我们如何参与这一优秀工具的完善。英伟达表示他们将在新版本发布时，合并且发布最新的代码。

例如你可以贡献：

针对 ONNX 格式和 Caffe 扩展解析器，用全新 ops 把模型输入到 TensorRT
插件程序让你能够在 TensorRT 中运行自定义 ops。使用开源的插件作为参考，或者建立全新的插件从而支持新的层（layers）
示例只是提供了一个起点，用户也可以贡献全新工作流和管道的示例。

英伟达的目标在于为社区提供更多的特性，并同时更方便地利于开发者对社区做出贡献。英伟达开发者博客介绍了如何开始使用 TensorRT，读者们也能从 TensorRT 的产品页面或这次新构建的 GitHub 项目获取它。

官方教程：如何使用 TensorRT 加速深度学习推断

地址：https://devblogs.nvidia.com/speed-up-inference-tensorrt/

最后，GitHub 项目中对于如何安装 TensorRT 开源软件及构建环境都有非常详细的描述，感兴趣的读者快来试试吧。

参考内容：

https://news.developer.nvidia.com/nvidia-open-sources-parsers-and-plugins-in-tensorrt/

https://github.com/NVIDIA/TensorRT

英伟达深度学习推理引擎TensorRT，现在开源了相关推荐

疯狂为《英伟达深度学习学院半日免费初级课程》打Call
2017年11月5号,由英伟达深度学习学院.浙江理工大学主办,由丽台(上海)信息科技有限公司.LeadAI学院承办的<英伟达深度学习学院半日初级培训课程(免费)>在百年历史的浙理校内成功举 ...
英伟达 | 深度学习GPU最新情况
点上方蓝字计算机视觉联盟获取更多干货在右上方 ··· 设为星标 ★,与你不见不散仅作分享,不代表本公众号立场,侵权联系删除转载于:量子位 AI博士笔记系列推荐周志华<机器学习>手推 ...
线上报名 | 高性能深度学习推理引擎 TensorRT 实战编程讲解
NVIDIA TensorRT™ 是一种高性能深度学习推理优化器和运行时提供低延迟和高通量的深度学习推理的应用程序.使用 TensorRT,您可以优化神经网络模型,精确地校准低精度,并最终将模型部署到 ...
阿里巴巴宣布架构调整；英伟达放大招！重磅发布 TensorRT 7 ，支持超千种计算变换；苹果、谷歌和亚马逊罕见结盟……...
戳蓝字"CSDN云计算"关注我们哦! 嗨,大家好,重磅君带来的[云重磅]特别栏目,如期而至,每周五第一时间为大家带来重磅新闻.把握技术风向标,了解行业应用与实践,就交给我重磅君吧 ...
英伟达DeepStream学习笔记27——deepstream下载历史版本
英伟达DeepStream学习笔记27--deepstream下载历史版本 https://docs.nvidia.com/metropolis/deepstream-archive.html htt ...
英伟达DeepStream学习笔记45——deepstream 绘制感兴趣ROI区域绘制矩形框
最近在做红绿灯的识别,需要先根据红绿灯在高精度地图位置并映射到图像的ROI进行过滤. 参考代码在gstnvdspreprocess.cpp 1305行. #ifdef DRAW_ROISNvDsDis ...
英伟达面向开发者群体建立深度学习课程
深度学习正在"转化计算"方式,英伟达公司在其本届GPU Tech大会上努力传达出这样一条信息.而围绕着这一主题,英伟达公司将自身打造为引领者.催化剂以及深度学习的推动者--当然,从 ...
英伟达_如何超越英伟达？
从AI热潮中率先获益的英伟达,其GPU参数和性能频繁出现在不少AI芯片发布会的对比图中.这是在缺乏AI芯片衡量的标准时,新的AI芯片证明自己实力的不错方式.不过,声称性能超越英伟达GPU的创新AI芯片 ...
英伟达发布全球最大GPU：性能提升10倍，售价250万
夏乙发自凹非寺量子位出品 | 公众号 QbitAI 英伟达的新杀器又来了. 刚刚,在GTC 2018大会上,黄仁勋发布全球最大GPU. 他说的是DGX-2. DGX-2能够实现每秒2千万亿次浮 ...

英伟达深度学习推理引擎TensorRT，现在开源了

英伟达深度学习推理引擎TensorRT，现在开源了相关推荐

最新文章

热门文章