AlexNet系列I:模型参数计算

Part I: 计算结果总表

AlexNet基本结构图：

AlexNet模型参数计算总表：

Layer Name	Filter	Padding	Kernel	Stride	Img size	Tensor Size	Weights	Biases	Parameters
Input Image	-	-	-	-	-	227x227x3	0	0	0
Conv-1	96	0	11 x 11	4	(227-11+2*0)/4+1 = 55	55x55x96	3(1111)*96 = 34848	96	34,944
MaxPool-1	96	2	3 x 3	2	(55-3)/2+1 = 27	27x27x96	0(no weight)	0	0
Conv-2	256	2	5 x 5	1	(27-5+2*2)/1+1 = 27	27x27x256	96(55)*256 = 614400	256	614,656
MaxPool-2	256	0	3 x 3	2	(27-3)/2+1 = 13	13x13x256	0 (no weight)	0	0
Conv-3	384	1	3 x 3	1	(13-3+2*1)/1+1 = 13	13x13x384	256(33)*384 = 884736	384	885,120
Conv-4	384	1	3 x 3	1	(13-3+2*1)/1+1 = 13	13x13x384	384(33)*384 = 1327104	384	1,327,488
Conv-5	256	1	3 x 3	1	(13-3+2*1)/1+1 = 13	13x13x256	384(33)*256 = 884736	256	884,992
MaxPool-3	256	0	3 x 3	2	(13-3)/2+1 = 6	6x6x256	0 (no weight)	0	0
FC-1						4096×1	(66256)*4096 = 37748736	4,096	37,752,832
FC-2						4096×1	4096 * 4096 = 16777216	4,096	16,781,312
FC-3						1000×1	4096 * 1000 = 4096000	1,000	4,097,000
Output						1000×1	0	0	0
Total									62,378,344

AlexNet网络参数结构图：

Part II. 神经网络的超参数

尺寸,

步长

填充数都是超参数

Part III: 神经网络各层输出图像大小计算

卷积层输出图像大小（Conv Layer）：

图像尺寸

$O = \frac{I-K+2P}{S}+1$

其中：O为输出图像边长尺寸（默认为正方形）， I 为输入图像的边长尺寸，K 为卷积核kernel的尺寸, P 为padding的尺寸，S为stride步长;

通道数：

输出图像的通道数等于核数量.

池化层的输出图像的大小（MaxPool Layer）

图像尺寸

$O = \frac{I-P_s}{S}+1$

其中：O为输出图像边长尺寸（默认为正方形）， I 为输入图像的边长尺寸， $P_s$ 为卷积核kernel的尺寸, S为stride步长;

通道数：

池化层的输出通道数不改变。

全连接层的输出图像的大小（Fully Connected Layer）

全连接层输出向量长度等于神经元的数量。

Part III: 神经网络各层参数数量计算

Part IV: 神经网络内存空间占用计算

Part V: 神经网络计算时间/复杂度计算

Reference:

[1]. 卷积神经网络(CNN)张量(图像)的尺寸和参数计算(深度学习)

AlexNet系列I:模型参数计算相关推荐

（pytorch-深度学习系列）模型参数的初始化与访问操作-学习笔记
模型参数的初始化与访问操作学习如何初始化以及访问模型参数,以及如何在多层之间共享模型参数首先定义一个含有单个隐藏层的多层感知机,使用默认方式初始化该模型的参数,并且进行一次前向计算: impor ...
桩筏有限元中的弹性板计算_采用PKPM系列JCCAD软件桩筏筏板有限元方法计算的模型参数 -...
*****采用PKPM系列JCCAD软件桩筏筏板有限元方法计算的模型参数****** 计算模型: 弹性地基梁板模型 (桩和土按WINKLER模型) 地基基础形式及参照规范: 天然地基(地基规范).常规 ...
桩筏有限元中的弹性板计算_采用PKPM系列JCCAD软件桩筏筏板有限元方法计算的模型参数...
*****采用PKPM系列JCCAD软件桩筏筏板有限元方法计算的模型参数****** 计算模型: 弹性地基梁板模型(桩和土按WINKLER模型) 地基基础形式及参照规范: 天然地基(地基规范).常规桩 ...
H264编码- 码率控制 RQ 模型参数推导过程以及JM代码分析
摘要:本文主要介绍H264码率控制过程中,RQ模型参数更新推导过程,并结合JM19.0代码分析其功能实现. H264码率控制中比较重要的一个模型是RQ模型,不管是图像级码率控制还是基本单元码率控制都会 ...
[Pytorch系列-41]：卷积神经网络 - 模型参数的恢复/加载 - 搭建LeNet-5网络与MNIST数据集手写数字识别
作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客本文网址:https://blog.csdn.net/HiWangWenBing/article/detai ...
R语言构建catboost模型：构建catboost模型并基于网格搜索获取最优模型参数（Select hyperparameters）、计算特征重要度
R语言构建catboost模型:构建catboost模型并基于网格搜索获取最优模型参数(Select hyperparameters).计算特征重要度(feature importance) 目录
深度学习模型参数量/计算量和推理速度计算
作者|龟壳来源 | 知乎地址 | https://zhuanlan.zhihu.com/p/376925457 本文仅作学术分享,若侵权请联系后台删文处理本文总结了一些关于模型参数量计算以及推理 ...
DRILLNET 2.0------第十八章起下钻水力参数计算模型
第十八章起下钻水力参数计算模型起下钻水力参数模型用来评估常规流体在管柱起下操作中的水力参数.在下钻过程中,管柱进入井眼时可能产生激动压力,在井眼内部这个压力可以导致井漏和地层破裂.另一方面,当管柱 ...
MXNET：深度学习计算-模型参数
我们将深入讲解模型参数的访问和初始化,以及如何在多个层之间共享同一份参数. 之前我们一直在使用默认的初始函数,net.initialize(). from mxnet import init, nd ...