参数量

每一次卷积的参数量和特征图的大小无关，仅和卷积核的大小，偏置及BN有关。

1.每个卷积层的参数量，+1表示偏置：
C_o x (K_w x K_h x C_in + 1)

2.全连接层的参数量
(D₁ + 1) x D₂

3.BN层的参数量
因为BN层需要学习两个参数γ\gammaγ和β\betaβ，所以参数量是2xC_o

计算量

1.一次卷积的计算量（kxk次乘法+kxk-1次加法）
(K_w x K_h) + (K_w x K_h - 1)

2.一个特征图上的卷积次数，即输出特征图的大小
(H−Kh+2∗paddingS+1)∗(W−Kw+2∗paddingS+1)({\frac{H-Kh+2*padding}{S}+1}) * ({\frac{W-Kw+2*padding}{S}+1})(SH−Kh+2∗padding+1)∗(SW−Kw+2∗padding+1)

3.全连接层的计算量（乘法+加法）
(D₁ + (D₁ - 1) + 1) x D₂

内存

1.参数量所占内存
（32位的float需要占用4个字节）
Memory(MB) = params x 4 /1024 /1024
比如：VGG参数量约为138million，则内存大小为138*3.8 = 524MB

2.每张图所占内存
计算一整张图的过程中的所有特征图层所占内存为F_w x F_h x C的加和，乘以4byte，再/1024/1024。

3.训练所占显存
比如：
参数量为500w，则内存为19MB；
一张图内存为100w，则内存为4MB；
Batchsize = 128；

则：
模型所占显存：19x2 = 38MB（1为params，1为Adam）
输出所占显存：128x4x2 = 1024MB（2为forward和backward）
总共需要显存：38+1024 > 1G

卷积神经网络参数量和计算量内存计算相关推荐

卷积神经网络参数计算及卷积层输出尺寸计算
一.卷积神经网络参数计算 CNN一个牛逼的地方就在于通过感受野和权值共享减少了神经网络需要训练的参数的个数,所谓权值共享就是同一个Feature Map中神经元权值共享,该Feature Map中的所 ...
卷积神经网络学习路线（五）| 卷积神经网络参数设置，提高泛化能力？
前言这是卷积神经网络学习路线的第五篇文章,主要为大家介绍一下卷积神经网络的参数设置,调参技巧以及被广泛应用在了哪些领域,希望可以帮助到大家. 卷积神经网络的参数设置这个举个例子来说是最好的,因为直 ...
卷积神经网络参数优化策略（一）
前言最近卷积神经网络(CNN)很火热,它在图像分类领域的卓越表现引起了大家的广泛关注.本文总结和摘录了Michael Nielsen的那本Neural Network and Deep Learni ...
手推卷积神经网络参数（卷积核）求导
手推卷积神经网络求导(卷积链式法则如何理解) 对于卷积如何求参数的导数问题(特别是对多个卷积层如何对初始层数的参数如何求导)困扰我许久了,也一直没有找到这方面的资料,所以自己研究了一下,在这里与大家分 ...
基于深度学习的音乐推荐系统（三）使用已训练的卷积神经网络提取语谱图特征并计算图像间相似度
该模块包含几部分: 调用训练好的并且已经保存的CNN模型(仅四层卷积层部分) 逐个读取tfrecords文件中的元素,并送入已训练好的CNN中,给每个图片提取128个特征每首歌包含11个图片,即11 ...
怎样用shell计算linux内存,计算Linux内存，CUP,硬盘使用率的shell脚本
在开发CFS过程中需要对机器实时的内存,CPU,硬盘使用率进行监控,因为CFS跑在Linux机器上,可以利用Linux中一些相应虚拟文件进行内存CPU使用率的计算,于是编写了以下脚本,很简单,但是很实 ...
group convolution (分组卷积)的计算量详解、卷积计算量特征图大小，池化特征图大小、深度通道deep-wise 卷积
group convolution (分组卷积)的计算量详解.卷积计算量特征图大小,池化特征图大小.深度通道deep-wise 卷积提示:最近忙着各种提前批的笔试面试,所以没太多空刷题了都,先复盘一 ...
高通CVPR神研究：视频处理计算量降低78%，教卷积层自己“挑像素”，卡成PPT的视频纵享丝滑...
萧箫发自凹非寺量子位报道 | 公众号 QbitAI 图像领域,已经限制不住AI算法大牛们的身手了. 现在,随着视频产业火热发展,相关算法也正成为计算机视觉研究的新潮流. 毕竟日常生活中,无论是 ...
卷积神经网络学习路线（二十一） | 旷世科技 ECCV 2018 ShuffleNet V2
前言这个系列已经更新了20多篇了,感谢一直以来大家的支持和等待.前面已经介绍过MobileNet V1,MobileNet V2,MobileNet V3,ShuffleNet V1这几个针对移动端 ...

卷积神经网络参数量和计算量内存计算

卷积神经网络参数量和计算量内存计算

参数量

计算量

内存

卷积神经网络参数量和计算量内存计算相关推荐

最新文章

热门文章