名词解释

** FLOPS\color{red}{FLOPS}FLOPS：**
　　ALL UPPERCASE（均大写），floating point operations per second的缩写，意指每秒浮点运算次数，理解为计算速度。是一个衡量硬件性能的指标。

** FLOPs\color{red}{FLOPs}FLOPs：**
　　注意s小写，是floating point operations的缩写（s表复数），意指浮点运算数，理解为计算量。可以用来衡量算法/模型的复杂度。

** Multi−Adds\color{red}{Multi-Adds}Multi−Adds：**
　　全称，Multiply-accumlate(MAC) or Multiply-add。因此Multi-add == MAD，但MACs在论文中所见不多。
　　
Wikipedia定义：
　　In computing, especially digital signal processing, the multiply–accumulate (MAC) or multiply-add (MAD) operation is a common step that computes the product of two numbers and adds that product to an accumulator. The hardware unit that performs the operation is known as a multiplier–accumulator (MAC unit); the operation itself is also often called a MAC or a MAD operation. The MAC operation modifies an accumulator a:

　　网络上的主流说法是1MADs（MACs） = 0.5flops，因为一次乘加运算包含一次乘法（multiplication）、一次加法（addition）；但是并没有明确的说法，我问了一个超分大佬，他告诉我一般不换算这两个东西，现在MACs用的不多，一般都使用Flops，所以可能大家以后发paper时，只需要比较Flops即可。好吧，悬案了。

涉及文献：
MobileNetv1中使用这个概念描述网络的复杂性；
参考论坛：
Ｇｉｔｈｕｂ讨论
CSDN帖子

** 一次卷积运算需要做多少次multi−addoperation\color{red}{一次卷积运算需要做多少次multi-add operation}一次卷积运算需要做多少次multi−addoperation：**
以下情况不考虑bias参数
输入feature-map：（H_i，W_i， C_i）
输出feature-map：（H_o， W_o，C_o）
Kernel-size：k

output-FM的一个pixel的multiplication运算量为：K² × C_i
output-FM的一个pixel的addition运算量为（n个数相加，需要运算n-1次）：K² × C_i - 1
得到一个output-FM的pixel需要的运算量为：2K² × C_i - 1
完整卷积的运算量为：(2K² × C_i - 1) × H_o× W_o×C_o

干货 Flops Mutli-adds MACs相关推荐

cnn中关于FLOPS的理解及计算
相关概念 FLOPS:注意全大写,是floating point operations per second的缩写,指每秒浮点运算次数,理解为计算速度.是一个衡量硬件性能的指标. FLOPs:注意s小 ...
6种方法计算神经网络参数量Params、计算量FLOPs、Macs简单代码
方法1:统计模型参数量 total = sum([param.nelement() for param in model.parameters()]) print("Number of pa ...
FLOPS, FLOPs and MACs
FLOPS: Floating Point Operations Per Second, 每秒浮点运算次数,是一个衡量硬件速度的指标 FLOPs: Floating Point Operations, ...
Pytorch统计网络参数计算工具、模型 FLOPs, MACs, MAdds 关系
Pytorch统计网络参数 #网络参数数量 def get_parameter_number(net):total_num = sum(p.numel() for p in net.parameter ...
MACs 和 FLOPs 有什么区别？如何计算？
一.MACs 和 FLOPs 有什么区别? FLOPs is abbreviation of floating operations which includes mul / add / div - ...
MACs和FLOPs
目录 FLOPs MACs 关系使用全连接层卷积层深度分离卷积池化层全局池化(常用): 一般池化(不常用): 激活层 ReLU/PReLU/ELU Sigmoid FLOPs Floati ...
干货 | YOLOV5 训练自动驾驶数据集，并转Tensorrt，收藏！
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达本文转自|AI算法与图像处理准备数据集环境配置配置文件修改 ...
超越GhostNet！吊打MobileNetV3！MicroNet通过极低FLOPs实现图像识别(文末获取论文)
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达本文提出Micro-Factorized卷积,将点和深度卷积分解为低秩矩阵,并提出新的激活函数,称为D ...
CNN 模型的参数（parameters）数量和浮点运算数量（FLOPs）是怎么计算的
文章目录: 1 模型参数(parameters)的个数 1.1 模型参数介绍 1.2 常见网络的模型参数个数 1.2 举例如何计算神经网络模型参数 2 FLOPS:每秒浮点运算次数 2.1 `FLOP ...

干货 Flops Mutli-adds MACs

名词解释

干货 Flops Mutli-adds MACs相关推荐

最新文章

热门文章