1、卷积网络实例分析

构建卷积网络如下:

from tensorflow.python.keras import datasets, models, layers
class CNN(object):def __init__(self):model = models.Sequential()# 第1层卷积,卷积核大小为3*3,32个卷积核,28*28为待训练图片的大小model.add(layers.Conv2D(32, (3, 3), activation='relu', input_shape=(28, 28, 1)))# 池化层model.add(layers.MaxPooling2D(2, 2))# 第2层卷积,卷积核大小为3*3,64个卷积核model.add(layers.Conv2D(64, (3, 3), activation='relu'))# 池化层model.add(layers.MaxPooling2D(2, 2))# 第3层卷积,卷积核大小为3*3,128个卷积核model.add(layers.Conv2D(128, (3, 3), activation='relu'))# 池化层model.add(layers.MaxPooling2D(2, 2))# 拉成1维形状model.add(layers.Flatten())# 第4层全连接层,64个神经元model.add(layers.Dense(64, activation='relu'))# 第5层全连接层  10个神经元,softmax 多用于分类model.add(layers.Dense(10, activation='softmax'))model.summary()self.model = modelif __name__ == "__main__":CNN()

输出的网络信息如下:

1 、卷积层参数个数计算方法:(卷积核高 * 卷积核宽 * 通道数 + 1) * 卷积核个数
2 、当前全连接层参数个数计算方法: (上一层神经元个数 + 1) * 当前层神经元个数

以上的1代表偏置,因为每个神经元都有一个偏置

卷积层1: 320 = (3 * 3 * 1 +1) * 32
卷积层2: 18496 = (3 * 3 * 32 +1) * 64
卷积层3: 73856 = (3 * 3 * 64 +1) * 128

全连接层1: 8256 = (128 + 1) * 64
全连接层2: 650 = (64 + 1) * 10

2、各层参数和链接数计算

举例:

下面以最经典的LeNet-5例子来逐层分析各层的参数及连接个数。

图2

C1层(卷积层):是一个卷积层,由6个特征图Feature Map构成。特征图中每个神经元与5*5的邻域(滤波器)相连。

1. 特征图大小:特征图的大小28*28,这样能防止输入的连接掉到边界之外(32-5+1=28)。

feature map边长大小的具体计算参见:http://blog.csdn.net/qq_15192373/article/details/78393520

2. 参数个数:C1有156个可训练参数 (每个滤波器5*5=25个unit参数和一个bias参数,一共6个滤波器,共(5*5+1)*6=156个参数)

3. 链接个数/FLOPS个数::(5*5+1)*6 *(28*28)=122,304个。左边是滤波器在输入层滑过的神经元个数,右边是C1层每个feature map的神经元个数,左右对应关系是1对28*28,相乘即为连接数。(每个链接对应1次计算,由wa+b可知,每个参数参与1次计算,所以1个单位的偏置b也算进去)

----------------------------------------

S2层(下采样层):是一个下采样层,有6个14*14的特征图。特征图中的每个单元与C1中相对应特征图的2*2邻域相连接。

1. 特征图大小:每个单元的2*2感受野并不重叠,因此S2中每个特征图的大小是C1中特征图大小的1/4(行和列各1/2)

2. 参数个数:S2层有 12个 (6*(1+1)=12) 可训练参数。S2层 每个滤波器路过的4个邻域 的4个输入相加,乘以1个可训练参数w,再加上1个可训练偏置b(即一个滤波器对应两个参数)。(对于子采样层,每一个特征映射图的的可变参数需要考虑你使用的采样方式而定,如文中的采样方式,每一个特征映射图的可变参数数量为2个,有的采样方式不需要参数)

3. 链接个数/FLOPS个数:5880个连接,( (2*2+1)*6 *14*14=5880) 。左边是滤波器在C1层滑过的神经元个数,右边是S2层每个feature map的神经元个数,相乘即为连接数。

----------------------------------------

C3层(卷积层):是一个卷积层,它同样通过5x5的卷积核去卷积层S2,然后得到的特征map就只有10x10个神经元,但是它有16种不同的卷积核,所以就存在16个特征map了。

1. 特征图大小:C3中每个特征图由S2中所有6个或者几个特征map组合(几个滤波器计算的神经元的值 相加 合并成一个神经元)而成。

为什么不把S2中的每个特征图连接到每个C3的特征图呢?原因有2点。

第1,不完全的连接机制将连接的数量保持在合理的范围内。

第2,也是最重要的,其破坏了网络的对称性。由于不同的特征图有不同的输入,所以迫使他们抽取不同的特征(希望是互补的)。(14-5+1=10)

2. 参数个数:例如,存在的一个方式是:

C3的前6个特征图:相当于需要6组滤波器,每组以S2中 3个相邻 特征图子集 为输入,共享一个偏置。(C3每个特征图 由 S2中3个特征图分别用不同滤波器 再加和得到)

C3的接下来6个特征图:相当于需要6组滤波器,每组以S2中 4个相邻 特征图子集 为输入,共享一个偏置。(1对4)

C3的接下来3个特征图:相当于需要3组滤波器,每组以S2中 4个不相邻 特征图子集 为输入,共享一个偏置。(1对4)

C3的最后1个特征图:相当于需要1组滤波器,每组将S2中所有 特征图 为输入,共享一个偏置。(1对6)

这样C3层有1516个可训练参数。计算:6*(3*25+1)+6*(4*25+1)+3*(4*25+1)+(25*6+1)=1516。此处,C3个特征图由 S2中n个卷积结果合并,然后共享1个b,组合计算得到。

3. 链接个数/FLOPS个数:1516* 10*10=151600个连接。左边是滤波器滑过的S2层神经元个数,右边是C3层特征图大小。

------------------------------------------

S4层(下采样层):是一个下采样层,由16个5*5大小的特征图构成。特征图中的每个单元与C3中相应特征图的2*2邻域相连接,跟C1和S2之间的连接一样。

1. 特征图大小:5*5大小。每个单元的2*2感受野并不重叠,因此S2中每个特征图的大小是C1中特征图大小的1/4(行和列各1/2)

2. 参数个数:S4层有32个可训练参数。(每个特征图1个因子w和1个偏置b,16*(1+1)=32)

3. 链接个数/FLOPS个数:16* (2*2+1) *5*5=2000个连接。左边是滤波器在C3层滑过的神经元个数,右边是S4层神经元个数,相乘即为连接数。

--------------------------------------------

C5层(卷积层或第一个全连接层):是一个卷积层,有120个特征图(或者说神经元)。每个单元与S4层的全部16个单元的5*5邻域(与S4层特征图一样大)相连。(120组滤波器, 每组16个滤波器,分别与 S4层16个特征图 进行卷积, 每组得到C5层的一个神经元/特征图)

1. 特征图大小:由于S4层特征图的大小也为5*5(同滤波器一样),故C5特征图的大小为1*1。(5-5+1=1), 这构成了S4和C5之间的全连接。之所以仍将C5标示为卷积层而非全相联层,是因为如果LeNet-5的输入变大,而其他的保持不变,那么此时特征图的维数就会比1*1大。

2. 参数个数:120* (16*5*5+1)=48120个。滤波器个数120*16个,所以w有120*16*5*5个,同组16个滤波器共用一个b,所以有120个b。

3. 链接个数/FLOPS个数:48120*1*1, 左边是滤波器滑过的神经元个数,右边是C5层特征图大小(其实现在已经变成了单个神经元,大小1*1),相乘即为连接数,此处也即FLOPS个数。

--------------------------------------------

F6层(全连接层):虽然是全连接层,得到F6层每个神经元 由 每组120个1*1的滤波器对C5层卷积,一共84组滤波器,得到84个神经元。

1. 特征图大小:有84个单元(之所以选这个数字的原因来自于输出层的设计),与C5层全相连。

2. 参数个数:有 84* (120*(1*1)+1)=10164 个可训练参数。如同经典神经网络,F6层计算输入向量(120)和权重向量(1*1)之间的点积,再加上一个偏置(+1)。然后将其传递给sigmoid函数产生单元i的一个状态。

3. 链接个数/FLOPS个数:10164* 1*1,左边是滤波器在C5层滑过的神经元个数,右边是F6层特征图大小。1个链接对应1次计算。

--------------------------------------------

输出层:由欧式径向基函数(Euclidean Radial Basis Function)单元组成,每类一个单元,每个有84个输入。

--------------------------------------------

3、卷积和下采样说明

图3 卷积和子采样过程

卷积过程包括:用一个可训练的滤波器fx去卷积一个输入的图像(第一阶段是输入的图像,后面的阶段就是卷积特征map了),然后加一个偏置bx,得到卷积层Cx。

子采样过程包括:每邻域四个像素求和变为一个像素,然后通过标量Wx+1加权,再增加偏置bx+1,然后通过一个sigmoid激活函数,产生一个大概缩小四倍的特征映射图Sx+1。

深度学习 卷积层与全连接层权重参数个数的计算相关推荐

  1. 深度学习之浅谈全连接层

    参考:https://www.zhihu.com/question/41037974 全连接层 全连接层(fully connected layers,FC)在整个卷积神经网络中起到"分类器 ...

  2. 卷积神经网络---卷积层、激励层、池化层以及全连接层

    文章目录 概述 卷积神经网络 局部连接+权值共享** 输入层 卷积层 激励层 池化层 全连接层 参考资料 概述 这两天在看论文,涉及到卷积神经网络的知识,之前一直对这块迷迷糊糊.看到了一篇博文写的很好 ...

  3. “重参数宇宙”再添新成员:RepMLP,清华大学旷视科技提出将重参数卷积嵌入到全连接层

    编辑:Happy 首发:AIWalker paper: https://arxiv.org/abs/2105.01883 code: https://github.com/DingXiaoH/RepM ...

  4. 卷积层与全连接层的区别

    卷积层.池化层.全连接层的概念:https://towardsdatascience.com/convolutional-neural-network-17fb77e76c05 关于卷积.全连接层的参 ...

  5. Pytorch中卷积层转向全连接层时,全连接层输入维度的确定

    Pytorch中卷积层转向全连接层时,全连接层输入维度的确定 一.代码法: 改变的AlexNet网络结构: AlexNet 二.公式法: 一.代码法: 改变的AlexNet网络结构: 输入维度为 ( ...

  6. 卷积层和全连接层的区别_卷积神经网络中全连接层作用理解总结

    前言 一般来说,卷积神经网络会有三种类型的隐藏层--卷积层.池化层.全连接层.卷积层和池化层比较好理解,主要很多教程也会解释. •  卷积层(Convolutional layer)主要是用一个采样器 ...

  7. pytorch神经网络之卷积层与全连接层参数的设置

    当使用pytorch写网络结构的时候,本人发现在卷积层与第一个全连接层的全连接层的input_features不知道该写多少?一开始本人的做法是对着pytorch官网的公式推,但是总是算错. 后来发现 ...

  8. padding和卷积的区别_NiN:使用11卷积层替代全连接层

    微信公号:ilulaoshi, 原文发表在我的个人网站:https://lulaoshi.info/machine-learning/convolutional/nin.html LeNet.Alex ...

  9. 『Transformer』为什么1*1卷积可以替代全连接层?

    为什么1*1卷积可以替代全连接层? 起源 解决 参考 起源 事情起源于同学的一个疑惑,他在阅读Transformer论文时,看到作者在前馈神经网络部分写有这么一句话: Another way of d ...

最新文章

  1. 【控制】《多智能体系统一致性与复杂网络同步控制》郭凌老师-第5章-具有一般耦合结构的时滞复杂网络同步
  2. .Net中url传递中文的解决方案
  3. 《C++PrimerPlus》阅读笔记 + 源码实践
  4. Spark编程指引(四)----共享变量(广播变量和累加器)
  5. python中if命令简单介绍及注意事项(含笔记)
  6. 多所高校内使用AI监控并追踪学生行为惹争议!
  7. 2020重学Go系列:反引号的妙用—结构体里的 Tag 标签
  8. java redis pubsub_如何从Java中的生菜RedisPubSubListener获取消息?
  9. 在windows平台上编写的python程序无法在_【判断题】在Windows平台上编写的Python程序无法在Unix平台运行。...
  10. C++端部署pytorch, libtorc使用教程(精简版)
  11. Vue中数组的响应式操作
  12. 手游方舟重启维护服务器要多久,方舟生存进化手游日常维护多久
  13. html手机截屏保存不了,华为手机截屏图像保存不了怎么处理?
  14. 论文阅读:Which Has Better Visual Quality: The Clear BlueSky or a Blurry Animal?
  15. js的常见的三种密码加密方式-MD5、Base64、sha1加密详解总结
  16. oracle9i rac for aix,oracle 11gR2 rac for aix 第二个节点运行root.sh不成功问题处理
  17. 【精华帖】使用PS将图片背景变透明
  18. 易语言linux时间戳转换,生成时间戳(如何正确地生成时间戳)
  19. 三星服务器内存条型号区分,三星内存条怎么样看型号(揭晓三星内存条查看技巧及报价)...
  20. 动态壁纸安卓_这款安卓手机动态壁纸也太好看了吧

热门文章

  1. WEB开发中的会话控制
  2. 云计算大会有感—MapReduce和UDF
  3. 年年有余之java求余的技巧集合
  4. 干货|一文读懂中国7大支付体系(附27页流程图)
  5. tomcat 容器生命周期lifecycle
  6. 【风控术语】数字金融反欺诈技术名词表
  7. 【采用】反欺诈之四大杀器
  8. 一季度网络支付58万亿,腾讯金融用户渗透率达89.2%
  9. 一台加密货币ATM机月营收额高达3万美金
  10. Python基础学习-Python中最常见括号()、[]、{}的区别 2015-08-13 07:54 by xuxiaoxiaoxiaolu, 1138 阅读, 0 评论, 收藏, 编辑 Pytho