如何利用 NVIDIA 安培架构 GPU 的新一代 Tensor Core 对计算进行极致加速

时隔三年，英伟达最强芯片 Tesla V100 终于有了继任者，那就是在2020年5月14日, NVIDIA发布的最新GPU A100。

GPU A100不仅能实现 1-50 倍的扩展，还让其吞吐性能翻倍。而其吞吐性能提升的主要功臣是其架构中搭载的第三代Tensor Core单元。

Tensor Core是怎么做到这些的？如何在现有的函数库与Kernel中使用Tensor Core？有没有落地实践案例可以做参考呢？如果你想了解更多关于Tensor Core的信息，

那么这个分享绝对不能错过！

英伟达即将在2020年 8月26 日 20：00-21：30进行“看搭载了第三代Tensor Core的A100如何实现了吞吐性能翻倍”的直播分享，直播主要内容如下：

直播介绍:

2020年5月14日, NVIDIA发布了最新的GPU架构:安培, 以及基于安培架构最新的GPU A100. 在安培架构中新增了功能强大的第三代Tensor Core单元。

相较于V100, A100上搭载的第三代Tensor Core增加了对DL和HPC数据类型的全面支持, 提高了各精度的运算吞吐能力,同时新增稀疏运算特性,进一步实现了吞吐性能翻倍。

第三代Tensor Core新特性如下:

新增了Tensor Float-32(TF32)数据类型操作,提供了对FP32数据的加速能力,相较于V100 FP32的FFMA拥有10倍加速性能,相较于A100 FP32的FFMA拥有8倍加速性能。
新增了Bfloat16(BF16)数据类型操作, 与FP16拥有相同的吞吐性能. 相较于V100, A100 GPU获得2.5倍TOPS提升, 单个SM上获得2倍性能提升。
相较于V100, A100 新增了INT8, INT4, INT1整数数据类型操作,进一步加速DL推理。
新增加了FP64数据类型操作, 相较于V100, FP64运算性能提升2.5倍。
TF32, BF16, FP16, INT8, INT4均支持稀疏特性,运算吞吐能力可再获得2倍提升。

在这次的在线研讨会中，您可以获得以下的内容:

第三代Tensor Core介绍, Tensor Core作用与原理等
如何在现有的函数库与Kernel中使用Tensor Core
案例分析: 在GEMM中，Tensor Core的使用与分析

讲师介绍:

姓名：刘冰
职位：NVIDIA GPU 计算专家
简介：拥有多年 GPU 开发经验和深度学习开发经验。曾参与计算机视觉、高性能计算库开发工作。目前主要负责 FasterTransformer 2.0 的进一步的优化及高性能函数开发工作。

现在限时免费报名，感兴趣的小伙伴千万不要错过了，赶紧点击『阅读原文』或者扫描下方二维码报名吧！

戳原文，即报名！

如何利用 NVIDIA 安培架构 GPU 的新一代 Tensor Core 对计算进行极致加速相关推荐

AI算力霸主诞生！英伟达发布首款安培架构GPU，性能提升20倍
来源:雷锋网由于疫情缘故,本该在今年3月英伟达(NVIDIA)GTC 2020上发布的安培(Ampere)架构曝光多次却一直未发布. 5月15日,英伟达CEO黄仁勋发布了英伟达新一代GPU架构安培, ...
NVIDIA安培架构
NVIDIA安培架构 NVIDIA Ampere Architecture In-Depth 在2020年英伟达GTC主题演讲中,英伟达创始人兼首席执行官黄仁勋介绍了基于新英伟达安培GPU架构的新英伟 ...
NVIDIA安培架构下MIG技术分析
关键词:NVIDIA.MIG.安培一什么是 MIG 2020年5月,NVIDIA 发布了最新的 GPU 架构: 安培,以及基于安培架构的最新的 GPU : A100.安培提供了许多新的特性,MIG ...
渲染器跑分_碾压图灵43！NVIDIA安培第一个跑分震撼出炉
NVIDIA Ampere安培架构已经发布两个多月了,相关服务器产品越来越多,但在此之前,我们从未见过它的实际性能数据.现在,全息渲染公司OTOY的CEO Jules Urbach终于满足了我们的好奇 ...
黄仁勋从煤气灶下取出最新GPU：7nm全新安培架构，售价20万美元，训练性能顶6张V100...
晓查贾浩楠发自凹非寺量子位报道 | 公众号 QbitAI 深黑的皮衣,苍白的头发. 熟悉的老黄又来了,但是少了宽敞的会场和粉丝的尖叫. 因为美国疫情的原因,英伟达和其他科技公司一样,把今年的 ...
NVIDIA深度架构
NVIDIA深度架构本文介绍A100 GPU,NVIDIA Ampere架构GPU的重要新功能. 现代云数据中心中运行的计算密集型应用程序的多样性推动了NVIDIA GPU加速的云计算的爆炸式增长. ...
英伟达A100 Tensor Core GPU架构深度讲解
计算机视觉研究院专栏作者:Edison_G 现代云数据中心运行的计算密集型应用的多样性推动了NVIDIA GPU加速云计算的爆发.这种密集的应用包括人工智能深度学习训练和推理.数据分析.科学计算.基 ...
Nvidia Ampere 架构深度解析
2020 年 5 月 14日,NVIDIA 创始人兼首席执行官黄仁勋在 NVIDIA GTC 2020 主题演讲中介绍了基于最新 Ampere 架构的 NVIDIA A100 GPU.这篇文章将会带你 ...
NVIDIA开源Linux GPU内核驱动
NVIDIA开源Linux GPU内核驱动项目 NVIDIA以双GPL/MIT许可证开源了Linux GPU内核模块,从R515驱动程序版本开始.该版本朝着改善在Linux中使用NVIDIA GPU ...

如何利用 NVIDIA 安培架构 GPU 的新一代 Tensor Core 对计算进行极致加速

如何利用 NVIDIA 安培架构 GPU 的新一代 Tensor Core 对计算进行极致加速相关推荐

最新文章

热门文章