使用NVIDIA A100 TF32获得即时加速

NVIDIA A100带来了我们公司历史上最大的单代性能增长。这是一个新的结构创新，这是一个多功能的支持，这是一个多功能的结构支持。TF32是用于深度学习训练的绝佳精度，因为它结合了FP32的范围和FP16的精度，与上一代的FP32精度相比，可提供高达5倍的加速。在这篇文章中，将简要介绍TF32的内部工作原理，并讨论显示其在一系列使用和网络中的影响的性能数据。

TF32 at a glance

浮点数据表示十进制数，如硬件中使用符号位（正数或负数）、指数（小数点左侧的数字）和尾数（小数点右侧的数字）。指数表示数字的范围，尾数表示精度。TF32达到了一个平衡，因为它与FP32具有相同的范围，并且有足够的位来提供AI训练所需的精度，而不需要使用太多的位，从而减慢处理速度和增加内存。

为了获得最佳性能，A100还增强了16位数学功能，支持FP16和Bfloat16（BF16），其速率是TF32的两倍。使用自动混合精度（AMP），只需几行代码就可以将性能提高一倍。有关TF32力学的更多信息，请参阅A100 GPU加速AI训练中的TensorFloat-32，HPC高达20倍。

Accelerated training across use cases

比较A100 TF32 precision和上一代V100 FP32的训练性能。所看到的是time-to-solution时间到解决方案（TTS）的加速，范围从2倍到5倍以上，这些加速没有代码更改，几乎没有造成精度损失，因此网络收敛速度更快。这些优势使应用程序能够更快、更频繁地接受训练。一些现代人工智能应用程序每天对网络进行多次再训练。如果处于构建神经网络的早期阶段，更快的训练时间意味着更快地完成模型构建，从而加快部署应用程序的时间。下面来看看TF32可以在不同的网络上以8-GPU服务器配置运行的TTS加速。图表显示了解决问题的时间，这是评估训练绩效的关键指标。当达到一个停止标准时，网络的训练运行就完成了，比如提高精度的百分比，或者在完成一系列迭代之后，也就是所谓的epoch。如果一个网络不收敛，那么训练运行就永远不会完成，这就是为什么只看吞吐量就不能得到完整的性能图。

Figure 1. Bars show the time-to-solution
speedups that A100 TF32 can deliver compared to V100 FP32.

Table 1. The actual time to solution for each network to converge.

使用TF32精度，A100提供了计算机视觉，语音，语言，以及推荐系统网络显著的加速。最大的加速出现在BERT自然语言处理（NLP）网络上，TF32带来了5倍的TTS加速。
可能会注意到NVIDIA包含了一个名为ELECTRA的网络（高效地学习能够准确地对代币替换进行分类的编码器），这是一种新颖的语言表示预训练方法。Electra在各种NLP任务上的计算预算相同，其性能优于现有技术。对于计算机视觉网络，TTS的加速比为2.5倍，而对于Facebook创建的推荐系统网络DLRM，TTS的加速倍数约为3倍。

除了图中所示的网络之外，我们还评估了来自GitHub上深度学习示例的23个不同网络的数据。总的来说，我们看到这些网络的平均TTS加速率为2.6倍。没有任何代码更改。有关性能数据的更多信息，请参阅NVIDIA数据中心深度学习产品性能。

Putting TF32 to work

英伟达使更容易使用TF32。

这是cuDNN库中的默认精度，它加速了神经网络的关键数学运算。TensorFlow和Pythorch深度学习框架现在都支持TF32，并且可以在NGC上使用。在CuBLAS（基本线性代数）和CuTensor（张量基元）中也支持TF32。

对于HPC应用，一个GPU加速线性求解器CuSolver可以利用TF32。线性解算器使用具有重复矩阵数学计算的算法，广泛应用于地球科学、流体动力学、医疗保健、材料科学、核能以及油气勘探等领域。

Get started with TF32 today

在第一个GPU实例在云端上线10年后，有100个GPU出现在市场上。凭借其TF32精度，以及MIG和加速结构稀疏性等其他特性，将GPU加速计算推进到每个主要CSP上的云GPU计算的下一个十年。

然而，强大的硬件是不够的。深度学习和HPC需要一个完整的平台方法。除了深入学习的例子，NVIDIA NGC还包括框架和应用程序的容器化资源，以及预先训练的模型、Helm图和脚本。

使用NVIDIA A100 TF32获得即时加速相关推荐

用NVIDIA A100 GPUs提高计算机视觉
用NVIDIA A100 GPUs提高计算机视觉 Improving Computer Vision with NVIDIA A100 GPUs 在2020年英伟达GPU技术会议的主题演讲中,英伟达创 ...
腾讯云GT4 GPU服务器NVIDIA A100显卡AMD ROME平台支持PCIe 4.0技术
腾讯云GPU服务器推出GT4实例,搭载NVIDIA A100的GPU云服务器,搭配AMD ROME平台,支持PCIe 4.0技术以及最高180核的vCPU,云服务器吧分享腾讯云GPU服务器GT4实例配 ...
NVIDIA A100云服务器
NVIDIA A100 NVIDIA A100融合了超540亿个晶体管,是目前全世界最大尺寸的7nm制程处理器,内有6912个CUDA核心.40GB运行内存,以及内存网络带宽达1.6TB/s,张量计算 ...
显卡云服务器试用,腾讯云推出首款搭载NVIDIA A100显卡GPU云服务器
腾讯云近日重磅推出首款搭载NVIDIA A100显卡的GPU云服务器,搭配AMD ROME平台,支持PCIe 4.0技术及最高180核的vCPU配置.适用于深度学习训练.推理.高性能计算.数据分析.视 ...
NVIDIA A100 深度解密（一）：GPU 峰值计算那些事
这是我的推广信息,以激励自己更好的分享自己的知识和经验!也希望看到的你能够多多支持,谢谢! 1. 滴滴云AI大师: 目前滴滴云正在大力推广自己的云计算服务,需要购买的朋友们用我的AI大师码「2049 ...
在NVIDIA A100 GPU中使用DALI和新的硬件JPEG解码器快速加载数据
在NVIDIA A100 GPU中使用DALI和新的硬件JPEG解码器快速加载数据如今,最流行的拍照设备智能手机可以捕获高达4K UHD的图像(3840×2160图像),原始数据超过25 MB.即使 ...
在NVIDIA A100 GPU上利用硬件JPEG解码器和NVIDIA nvJPEG库
在NVIDIA A100 GPU上利用硬件JPEG解码器和NVIDIA nvJPEG库根据调查,普通人产生的1.2万亿张图像可以通过电话或数码相机捕获.这样的图像的存储,尤其是以高分辨率的原始格式, ...
NVIDIA A100 GPUs上硬件JPEG解码器和NVIDIA nvJPEG库
NVIDIA A100 GPUs上硬件JPEG解码器和NVIDIA nvJPEG库 Leveraging the Hardware JPEG Decoder and NVIDIA nvJPEG Lib ...
Nvidia A100 硬件软件结构分析
Nvidia A100 架构分析 Nvidia A100 硬件架构 1 GA100 的架构图 A100 GPU的架构名称为GA100,一个完整的GA100架构实现包括以下单元: 基于GA100架构的A ...

使用NVIDIA A100 TF32获得即时加速

使用NVIDIA A100 TF32获得即时加速相关推荐

最新文章

热门文章