卷积神经网络典型CNN

LeNet：最早用于数字识别的CNN
LeNet5：现在常说的一般就是LeNet5
AlexNet：2012ILSVRC冠军，远超第二名的CNN，比LeNet更深，用多层小卷积叠加来替换单个的大卷积
ZF Net：2013ILSVRC冠军
GoogLeNet：2014ILSVRC冠军
VGGNet：2014ILSVRC比赛中算法模型，效果率低于GoogleNet
ResNet：2015ILSVRC冠军，结构修正以适应更深层次的CNN训练

卷积神经网络典型CNN-LeNet

卷积神经网络典型CNN-LeNet5

网络结构

C1层是一个卷积层（卷积+激励）

input：1*32*32
filter：1*5*5
stripe：1
padding：0
filter size/depth：6
output：6*28*28
神经元数目：6*28*28
参数个数：(1*5*5+1)*6=156。每个特征图内共享参数，因此参数总数：共（5*5+1）*6=156个参数
连接方式：普通的卷积连接方式
每个卷积神经元的参数数目：5*5=25个weight参数和一个bias参数
链接数目：（5*5+1）*6*（28*28）=122304个链接

S2层是一个下采样层（池化）

input：6*28*28
filter：2*2
padding：0
stripe：2
output：6*14*14。每个图中的每个单元与C1特征图中的一个2*2邻域相连接，不重叠。因此，S2中每个特征图的大小是C1中的特征图大小的1/4
神经元数目：6*14*14
参数个数：0
连接方式：普通的最大池化方式

=========================================================================

现在 lenet5 多用改进的池化，池化方式如下

S2层每个单元的4个输入相加，乘以一个可训练参数w，再加上一个可训练偏置b，结果通过sigmoid函数计算
连接数：（2*2+1）*1*14*14*6=5880个
参数共享：每个特征图内共享参数，因此有2*6=12个可训练参数

C3层是一个卷积层（卷积+激励）

input：6*14*14
filter：?*5*5 6*5*5
stripe：1
padding：0
filter size/depth：16
output：16*10*10
神经元数目：16*10*10
参数个数：(3*5*5+1)*6+(4*5*5+1)*9+(6*5*5+1)*1=1516
连接方式(S2->C3) 不是普通的卷积操作，是卷积操作的变种。"最终输出的16个fetaure map中，对应的前六个卷积核是和s2中输出的六个feature map中的任意3个feature map做卷积，中间九个卷积核是和s2中输出的六个feature map中的任意4个feature map做卷积，最后一个卷积核是和六个feature map做卷积"。
- 好处：
  - 1. 不需要使用全部的feature map，这样有连接的feature map的连接数/参数数量可以保持在一定范围，直白来讲：相对于传统的卷积操作，降低了网络的参数数据量
  - 2. 可以打破网络的对称结构，不同的卷积核可以得到不同的特征信息

S4层是一个下采样层（池化）

input:16*10*10
filter:2*2
padding:0
stripe:2
output:16*5*5
神经元数目:16*5*5
参数个数:0
连接方式:普通的最大池化方式

=========================================================================

现在 lenet5 多用改进的池化，池化方式如下

S4层每个单元的4个输入相加，乘以一个可训练参数w，再加上一个可训练偏置b，结果通过sigmoid函数计算
连接数：（2*2+1）*5*5*16=2000个
参数共享：特征图内共享参数，每个特征图中的每个神经元需要1个因子和一个偏置，因此有2*16个可训练参数。

C5层是一个卷积层（卷积+激励）

input：16*5*5
filter：16*5*5（没有共享卷积核）
stripe：1
padding：0
filter size/depth：120
output：120*1*1
神经元数目：120*1*1
参数个数：(16*5*5+1)*120=48120
连接数：(16*5*5+1)*120=48120
连接方式:普通的卷积操作。好处、作用:当网络结构不变，如果输入的大小发生变化，那么C4的输出就不是120啦。120个神经元，可以看作120个特征图，每张特征图的大小为1*1，每个单元与S4层的全部16个单元的5*5邻域相连（S4和C5之间的全连接）

F6层是一个全连接层

input：120
output：84
神经元数目：84
参数个数：(120+1)*84=10164
连接数：（120+1）*84=10164
有84个单元（之所以选这个数字的原因来自于输出层的设计），与C5层全连接。84：stylized image：7*12

输出层采用欧氏径向基函数单元

input：84
output：10
神经元数目：10
参数数目：84*10=840
给定一个输入模式，损失函数应能使得F6的配置与RBF参数向量（即模式的期望分类）足够接近。
每类一个单元，每个单元连接84个输入；每个输出RBF单元计算输入向量和参数向量之间的欧式距离。
RBF输出可以被理解为F6层配置空间的高斯分布的对数似然【-log-likelihood】

卷积神经网络CNN性能演进历程

深度学习之卷积神经网络 LeNet相关推荐

深度学习～卷积神经网络(CNN)概述
目录 1. 卷积神经网络的形成和演变 1.1 卷积神经网络结构 1.2 卷积神经网络的应用和影响 1.3 卷积神经网络的缺陷和视图 1.3.1 缺陷:可能错分 1.3.2 解决方法:视图 ...
机器学习——深度学习之卷积神经网络（CNN）——AlexNet卷积神经网络结构
目录一.AlexNet卷积神经网络结构模型 1.数据库ImageNet 2.AlexNet第一层卷积层二.AlexNet卷积神经网络的改进 1.非线性变化函数的改变--ReLU 2.最大池化(Ma ...
解析深度学习：卷积神经网络原理与视觉实践
解析深度学习:卷积神经网络原理与视觉实践魏秀参著 ISBN:9787121345289 包装:平装开本:16开正文语种:中文出版社: 电子工业出版社出版时间:2018-11-01
【深度学习】卷积神经网络实现图像多分类的探索
[深度学习]卷积神经网络实现图像多分类的探索文章目录 1 数字图像解释 2 cifar10数据集踩坑 3 Keras代码实现流程 3.1 导入数据 3.2 浅层CNN 3.3 深层CNN 3.4 进 ...
【深度学习】卷积神经网络速成
[深度学习]卷积神经网络速成文章目录 [深度学习]卷积神经网络速成 1 概述 2 组成 2.1 卷积层 2.2 池化层 2.3 全连接层 3 一个案例 4 详细分析 1 概述前馈神经网络(feed ...
深度学习之卷积神经网络（13）DenseNet
深度学习之卷积神经网络(13)DenseNet Skip Connection的思想在ResNet上面获得了巨大的成功,研究人员开始尝试不同的Skip Connection方案,其中比较流行的就是D ...
深度学习之卷积神经网络（12）深度残差网络
深度学习之卷积神经网络(12)深度残差网络 ResNet原理 ResBlock实现 AlexNet.VGG.GoogleLeNet等网络模型的出现将神经网络的法阵带入了几十层的阶段,研究人员发现网络的 ...
深度学习之卷积神经网络（11）卷积层变种
深度学习之卷积神经网络(11)卷积层变种 1. 空洞卷积 2. 转置卷积矩阵角度转置卷积实现 3. 分离卷积卷积神经网络的研究产生了各种各样优秀的网络模型,还提出了各种卷积层的变种,本节将重点介 ...
深度学习之卷积神经网络（10）CIFAR10与VGG13实战
深度学习之卷积神经网络(10)CIFAR10与VGG13实战 MNIST是机器学习最常用的数据集之一,但由于手写数字图片非常简单,并且MNIST数据集只保存了图片灰度信息,并不适合输入设计为RGB三通 ...

深度学习之卷积神经网络 LeNet

卷积神经网络典型CNN

卷积神经网络典型CNN-LeNet

卷积神经网络典型CNN-LeNet5

网络结构

C1层是一个卷积层（卷积+激励）

S2层是一个下采样层（池化）

C3层是一个卷积层（卷积+激励）

S4层是一个下采样层（池化）

C5层是一个卷积层（卷积+激励）

F6层是一个全连接层

输出层采用欧氏径向基函数单元

卷积神经网络CNN性能演进历程

深度学习之卷积神经网络 LeNet相关推荐

最新文章

热门文章