芯片TOPS的真实性 - 解释 ( 标量 ,矢量, 张量)

2024-06-14 00:06:03

宣传的TOPS往往都是运算单元的理论值，而非整个硬件系统的真实值。

真实值更多取决于内部的SRAM、外部DRAM、指令集和模型优化程度。最糟糕的情况下，真实值是理论值的1/10算力甚至更低，一般也就50%的使用率。

理论值取决于运算精度、MAC的数量和运行频率。可大致简化为INT8精度下的MAC数量在FP16精度下等于减少了一半。FP32再减少一半，依次类推。

假设有512个MAC运算单元，运行频率为1GHz，

INT8的数据结构和精度，算力为512 x 2 x 1 GHz = 1000 Billion Operations/Second = 1 TOPS

FP16精度那么就是0.5TOPS，

FP32精度就是0.25TOPS。

英伟达的Tesla V100有640个Tensor核，每核有64个MAC运算单元，运行频率大约1.480GHz，那么INT8下算力为640 * 64 * 2 * 1.480 GHz=121TOPS。

# 深度学习计算设备存在两个瓶颈，一个是处理器计算能力，另一个是计算带宽。

动态的来看，不考虑使用的算法，内存和算力无法很好的匹配

分析哪一个限制了计算性能可以使用 Roofline 模型-计算性能（纵轴）和算法的运算强度（横轴）。

例如

ResNet-50需要MAC大约为每秒70亿次运算，英伟达TeslaT4运行ResNet-50每秒可处理3920张224*224的图像，3920 images/second x 7 BillionOperations/image = 27,440 Billion Operations/second = 27.4 TrillionOperations/Second = 27.4 TOPS。而英伟达Tesla T4的理论算力是130TOPS。实际只有27.4TOPS。

决定算力真实值最主要因素是内存（ SRAM和DRAM)带宽，

为何大部分人工智能算法公司都想定制或自制计算平台。

算法的性能与硬件设计往往脱离不开。要提高利用率就需要软硬件一体设计。

##

TOPS: Tera-Operations/second

标量视为零阶张量，矢量视为一阶张量，那么矩阵就是二阶张量。

参考

https://zhuanlan.zhihu.com/p/343191353

芯片TOPS的真实性 - 解释 ( 标量 ,矢量, 张量)相关推荐

各种芯片简述以及算力解释：
目录芯片算力 1.TOPS:(Tera/Trillion Operations Per Second) 2.FLOPS(floating-point operations per second) 3 ...
存储器芯片的扩展例题解释
解释若存储器芯片的容量为16k * 8位,第一个数字表示单个(逻辑)Bank芯片字个数(16K=2 ^ 4 * 2 ^10 ),第二个表示芯片字的位数即数据宽度(8) 第一个表示地址,第二个表示存储 ...
ARM芯片tops的计算方法
更正: GTOPS -> GOPS 公式4 中 x2的解释: 1个OP是2个运算(Multiply + Accumulate)
芯片测试的术语解释（FT、CP），持续更新....
本篇是个人学习知识笔记, 一.芯片的生产流程二.芯片生产过程中涉及到的测试设备三.后道检测中的CP测试和FT测试 1.CP测试: CP测试,英文全称Circuit Probing.Chip Pro ...
医学图像数据格式和格式转换
医学图像数据格式和格式转换本文转载自:http://blog.csdn.net/kingmicrosoft/article/details/35798249 由于最近碰到了数据格式的问题,重建不出效 ...
医学三维图像几种格式的区别
dcm (DICOM Image,only Read): DICOM的全称是 Digital Imaging and Communications in Medicine (DICOM),它是用 ...
张量、标量、向量和矩阵
张量.标量.向量和矩阵 https://github.com/bovem/publications/tree/master/Linear%20Algebra 张量是一个数据数组(数字.函数等),它以任 ...
【异步电机】矢量控制与标量控制
一. 概述异步电机的控制方法可以划分为矢量控制与标量控制. 在标量控制中,仅对电压.电流.以及磁链等矢量的幅值和旋转频率进行控制,如恒压频比(VF)控制技术. 在矢量控制中,将矢量的瞬时位置纳入控制 ...
标量除、矢量除、正交化
引言我的都知道标量乘和矢量乘,标量乘就是两个矢量各项元素相乘之和,得到的是一个标量;矢量乘就是两个矢量相乘得到一个新的矢量,该矢量垂直于这两个矢量.对于除法呢,矢量是否有除法呢?是否也是标量除和矢量 ...

最新文章

热门文章