栗子 假装发自 东京 
量子位 报道 | 公众号 QbitAI

△ 没办法，就是快

快到飞起。

昨天，东京，“教主”黄仁勋发布了一枚新GPU：Tesla T4。

按照英伟达的说法，Tesla T4是为推理而生的。

2,560个CUDA，320个张量核心 (Tensor Core) ，推理加速表现如下。

△ 蓝为CPU，灰为P4，绿为T4

比赛结束，基于帕斯卡架构的P4前辈，在T4面前输得很惨：

在语音识别模型DeepSpeech 2上，T4比P4的5倍还要快；

在神经网络翻译模型GNMT上，T4的速度接近P4的4倍；

在图像识别模型ResNet-50上，T4也接近P4的3倍。

注意，在T4诞生之前，P4在深度学习界的地位，也是很崇高的。

Tesla T4快在哪里

算力的增长，图灵架构里的张量核心 (Tensor Core) 是重中之重。

T4的320个张量核心，让数据吞吐量疾速增长，峰值达到260 TOPS (精度INT4) 。

再回头看两年前的P4：

别看速度提升那么多，Tesla T4的功耗 (TDP) 依然停留在谦虚的75瓦。

这样的GPU，哪里需要哪里搬，英伟达称之为“宇宙通用推理加速器 (Universal Inference Accelerator) ” 。

把参数排列起来，是不是更燃：

△ (后四行)多种精度混合，有助于加速推理

顺便，T4的显存为16GB GDDR6，带宽为320+GB/s。

以RTX为名的显卡，不论是专业级的Quadro系列还是游戏显卡Geforce系列，都是在T4的关怀之下，学习光线追踪技巧的。哪里该有光亮，哪里该是阴影，几乎不会错。

TensorRT也更新了

TensorRT 5

加速推理，是一项宏伟的事业，只有GPU是不够的。

和Tesla T4一同发布的，是TensorRT 5推理加速引擎。

这一次更新，主要是为图灵架构提供支持，最高可以达到CPU 40倍的推理速度。

5.0版本中，有8个新的API (精度INT8) ，用于优化推理模型，神经网络翻译也好，推荐系统也好。

现在，TensorRT已经可以和TensorFlow集成，和MatLab集成，ONNX也没放过。

TensorRT推理服务器

除此之外，搭配着引擎食用的TensorRT推理服务器，也一起发布了，做足全套功课。

服务器的作用，是提升GPU的利用率，在一个节点上同时运行不同框架上的多个模型。以下是一个“学跳舞”模型的生成效果举栗。

原来是这样啊：

△ 举栗：只要跟对师傅，就能学好舞步

现在，推理服务器的测试版本已经提供下载了，大家可以试试看：

https://ngc.nvidia.com/registry/nvidia-inferenceserver

进击的AGX

有些推理，可以永远留在计算机里。

还有一些，就需要接受现实世界的调教了。

△ Nvidia Isaac

针对机器人的大脑，以及其他自动化设备的大脑，英伟达也发布了一系列AGX系统：

Jetson AGX，Drive AGX以及Clara AGX皆在此列，是基于Xavier芯片打造的开发包 (Devkit) 。

先说Drive AGX，顾名思义，用来开发自动驾驶应用。开发包里有一台计算机，搭载了Drive软件，可以与汽车联动。

这台电脑，只是老黄在发布会上举起的许多重物之中，比较轻的一个。

团队希望，开发者能在这“大脑”里，写出各式各样的脑回路，帮助自动驾驶汽车适应艰险的路况。

Drive AGX开发包，10月1日开始发售。

Jetson AGX与之同理，只是用于工业场景。在人口老龄化形势严峻的日本，工业自动化尤其受到重视。

英伟达说，Jetson AGX是全球第一台为自动化设备定制的计算机。工程机械巨头小松制作所等许多企业已经投入使用了。

Clara AGX是医疗场景下的开发包，但这里没有计算机，只是纯纯的SDK：

一句重要的话

如果想要申请谷歌云上的T4早期试用，请在这里填表：

https://docs.google.com/forms/d/1-EuhrG9UZ6yXM9lg6mJ4l8ltq-mklcVo7qbLh7H7zek/viewform?ts=5b98149d&edit_requested=true

— 完 —

加入社群

量子位AI社群28群开始招募啦，欢迎对AI感兴趣的同学，在量子位公众号（QbitAI）对话界面回复关键字“交流群”，获取入群方式；

此外，量子位专业细分群(自动驾驶、CV、NLP、机器学习等)正在招募，面向正在从事相关领域的工程师及研究人员。

进专业群请在量子位公众号（QbitAI）对话界面回复关键字“专业群”，获取入群方式。（专业群审核较严，敬请谅解）

诚挚招聘

量子位正在招募编辑/记者，工作地点在北京中关村。期待有才气、有热情的同学加入我们！相关细节，请在量子位公众号(QbitAI)对话界面，回复“招聘”两个字。

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态