神经网络中参数量parameters和FLOPs计算

一.神经网络中参数量parameters和FLOPs计算

CNN中的parameters分为两种：W和b，对于某一个卷积层，它的parameters的个数为:
(Kh∗Kw∗Cin)∗Cout+Cout\left(K_{h} * K_{w} * C_{i n}\right) * C_{o u t}+C_{o u t} (Kh∗Kw∗Cin)∗Cout+Cout
其中，KhK_{h}Kh是卷积核的高度，KwK_{w}Kw是卷积核的宽度,CinC_{in}Cin是输入的通道数，CoutC_{out}Cout是输出的通道数
对于某个全连接层，如果输入的数据有NinN_{in}Nin个节点，输出的数据有NoutN_{out}Nout个节点，它的参数个数为：
Nin∗Nout+NoutN_{i n} * N_{o u t}+N_{o u t}Nin∗Nout+Nout
FLOPs：全称是floating point operations per second，指的是每秒浮点运算次数，即用来衡量硬件的计算性能
对于某个卷积层,它的FLOPs数量是：
[(Kh∗Kw∗Cin)∗Cout+Cout]∗(H∗W)=num−params⁡∗(H∗W)\left[\left(K_{h} * K_{w} * C_{i n}\right) * C_{o u t}+C_{o u t}\right] *(H * W)=n u m_{-} \operatorname{params} *(H * W)[(Kh∗Kw∗Cin)∗Cout+Cout]∗(H∗W)=num−params∗(H∗W)
其中，numparamsnum_{params}numparams表示该层参数的数量，H是输出图片的高，W是输出图片的宽
例题1：假设你的输入是一个300×300的彩色（RGB）图像，而你没有使用卷积神经网络。如果第一个隐藏层有100个神经元，每个神经元与输入层进行全连接，那么这个隐藏层有多少个参数（包括偏置参数）？
A1：因为输入的节点数量是300*300*3,输出的节点数量是100。然后加上偏置项b，因为隐藏层有100个节点，每个节点都有一个偏置，所以b=100。利用上面计算全连接网络的公式，故3*300*300*100+100
例题2：假设你的输入是300×300彩色（RGB）图像，并且你使用卷积层和100个过滤器，每个过滤器都是5×5的大小，请问这个隐藏层有多少个参数（包括偏置参数）？
A2：首先，参数和输入的图片大小是没有关系的，无论你给的图像像素有多大，参数值都是不变的，在这个题中，参数值只与过滤器有关。单个过滤器的大小是5*5,由于输入的是RGB图像，所以输入通道数目是3。因此一个过滤器的组成是5*5*3,每一过滤器只有一个偏置项b,因此一个过滤器所拥有的参数是5*5*3+1=76，一共用了100个过滤器，所以隐藏层含有76*100=7600个参数。其实，也就是上面的公式计算CNN的参数量。

二、参考博客

参考博客

神经网络中参数量parameters和FLOPs计算相关推荐

计算卷积神经网络中参数量
参考卷积神经网络的参数包含:卷积层的权重和偏置,全连接层的权重和偏置全连接层参数量在计算参数量前,先了解卷积计算过程.如下图,给定的图像尺寸是32x32x3(高,宽,深度).对这张图像进行卷积, ...
CNN中parameters和FLOPs计算
CNN中parameters和FLOPs计算以AlexNet为例,先注意观察每层编注的通道数的变化. 1. 卷积网络的参数量的计算(parameters) CNN中的parameters分为两种:W ...
神经网络的参数量(Params)和计算量(FLOPs)
定义参数量(Params) 参数量是指模型训练中需要训练的参数总数.用来衡量模型的大小(计算空间复杂度). 计算量(FLOPs) 浮点运算次数,理解为计算量(计算时间复杂度),可以用来衡量算法的复杂 ...
神经网络中参数数量的计算
详情请见: https://blog.csdn.net/qian99/article/details/79008053 https://www.cnblogs.com/touch-skyer/p/91 ...
神经网络学习小记录72——Parameters参数量、FLOPs浮点运算次数、FPS每秒传输帧数等计算量衡量指标解析
神经网络学习小记录72--Parameters参数量.FLOPs浮点运算次数.FPS每秒传输帧数等计算量衡量指标解析学习前言网络的运算时组成我们要关注网络的什么指标 1.Parameters参数 ...
【深度学习】深度学习中模型计算量(FLOPs)和参数量(Params)等的理解以及四种在python应用的计算方法总结
接下来要分别概述以下内容: 1 首先什么是参数量,什么是计算量 2 如何计算参数量,如何统计计算量 3 换算参数量,把他换算成我们常用的单位,比如:mb 4 对于各个经典网络,论述他们是计算量大还 ...
神经网络的计算量(FLOPs)、参数量(Params)、推理时间（FPS）的定义及实现方法
目录 1. 定义 2. 实现方法 2.1. 计算参数量 2.2. 计算参数量和FLOPs 2.3. 计算推理时间(FPS) 3. 数据大小对参数量和FLOPs的影响 4. 参数量和FLOPs对于硬件要 ...
6种方法计算神经网络参数量Params、计算量FLOPs、Macs简单代码
方法1:统计模型参数量 total = sum([param.nelement() for param in model.parameters()]) print("Number of pa ...
网络模型的参数量和FLOPs的计算 Pytorch
目录 1.torchstat 2.thop 3.fvcore 4.flops_counter 5.自定义统计函数 FLOPS和FLOPs的区别: FLOPS:注意全大写,是floating point ...

神经网络中参数量parameters和FLOPs计算

一.神经网络中参数量parameters和FLOPs计算

二、参考博客

神经网络中参数量parameters和FLOPs计算相关推荐

最新文章

热门文章