LeNet-5网络结构解析

参考文章:
文章1
文章2
文章3

特殊性

神经元间的连接是非全连接的
同一层中某些神经元之间的连接的权重是共享的（即相同的）

权值共享

使用同一个Kernel

池化
转:http://blog.csdn.net/geekmanong/article/details/50605340

CNN的池化(图像下采样)方法很多：Mean pooling(均值采样)、Max pooling(最大值采样)、Overlapping (重叠采样)、L2 pooling(均方采样)、Local Contrast Normalization(归一化采样)、Stochasticpooling(随即采样)、Def-pooling(形变约束采样)。
例如最大池化

为了简单起见，我用上面的图片作为例子，假设上面的图片大小是4*4的，如上图所示，然后图片中每个像素点的值是上面各个格子中的数值。然后我要对这张4*4的图片进行池化，池化的大小为(2,2)，跨步为2，那么采用最大池化也就是对上面4*4的图片进行分块，每个块的大小为2*2，然后统计每个块的最大值，作为下采样后图片的像素值，具体计算如下图所示：

feature maps
转:http://blog.csdn.net/geekmanong/article/details/50605340

特征图，一张图片经过一个卷积核进行卷积运算，我们可以得到一张卷积后的结果图片，而这张图片就是特征图。在CNN中，我们要训练的卷积核并不是仅仅只有一个，这些卷积核用于提取特征，卷积核个数越多，提取的特征越多，理论上来说精度也会更高，然而卷积核一堆，意味着我们要训练的参数的个数越多。在LeNet-5经典结构中，第一层卷积核选择了6个，而在AlexNet中，第一层卷积核就选择了96个，具体多少个合适，还有待学习。

LeNet-5结构及参数计算

转:http://blog.csdn.net/geekmanong/article/details/50605340

输入： 32∗32 32*32的手写字体图片，这些手写字体包含 0 9 0~9数字，也就是相当于 10 10个类别的图片
输出：分类结果， 0 9 0~9之间的一个数(softmax)

LeNet-5结构
输入层： 32∗32 32*32的图片，也就是相当于 1024 1024个神经元
C1层:选取 6 6个特征卷积核，大小为5∗55*5(不包含偏置),得到 6 6个特征图，每个特征图的大小为32−5+1=2832-5+1=28，也就是神经元的个数由 1024 1024减小到了 28∗28=784 28*28=784。
输入层与C1层之间的参数: 6∗(5∗5+1) 6*(5*5+1),对于卷积层C1，每个像素都与前一层的 5∗5 5*5个像素和 1 1个bias有连接，有6∗(5∗5+1)∗(28∗28)6*(5*5+1)*(28*28)个连接
S2层:池化,是一个下采样层（为什么是下采样？利用图像局部相关性的原理，对图像进行子抽样，可以减少数据处理量同时保留有用信息），有 6 6个14∗1414*14的特征图，特征图中的每个单元与C1中相对应特征图的 2∗2 2*2邻域相连接。 S2 S2层每个单元对应 C1 C1中 4 4个求和，乘以一个可训练参数，再加上一个可训练偏置。
C1与S2之间的参数:每一个2∗22*2求和，然后乘以一个参数，加上一个偏置，共计 2∗6=12 2*6=12个参数。 S2 S2中的每个像素都与 C1 C1中的 2∗2 2*2个像素和 1 1个偏置相连接，所以有6∗5∗14∗14=58806*5*14*14=5880个连接
C3层:选取卷积核大小为 5∗5 5*5,得到新的图片大小为 10∗10 10*10我们知道S2包含： 6张14∗14 6张14*14大小的图片，我们希望这一层得到的结果是： 16张10∗10 16张10*10的图片。这 16 16张图片的每一张，是通过 S2 S2的 6 6张图片进行加权组合得到的，具体是怎么组合的呢？

S2与C3之间的组合
前66个feature map与 S2 S2层相连的 3 3个feature map相连接，后面66个feature map与 S2层相连的4个 S2层相连的4个feature map相连接，后面 3 3个feature map与S2S2层部分不相连的 4 4个feature map相连接，最后一个与S2S2层的所有feature map相连。卷积核大小依然为 5∗5 5*5，总共有 6∗（3∗5∗5+1） 6*（3*5*5+1）+ 6∗（4∗5∗5+1） 6*（4*5*5+1）+ 3∗（4∗5∗5+1） 3*（4*5*5+1）+ 1∗（6∗5∗5+1）=1516 1*（6*5*5+1）=1516个参数。而图像大小为 10∗10 10*10，所以共有 151600 151600个连接。

S4层
池化，窗口大小为 2∗2 2*2,有 16 16个特征图，总共有 32 32个参数

C3与S4之间的参数
16∗（25∗4+25）=2000 16*（25*4+25）=2000个连接

C5层
总共 120 120个feature map，每个feature map与 S4 S4层所有的feature map相连接，卷积核大小是 5∗5 5*5，而 S4 S4层的feature map的大小也是 5∗5 5*5，所以 C5 C5的feature map就变成了1个点，共计有 120（25∗16+1）=48120 120（25*16+1）=48120个参数。

F6层
全连接
F6 F6相当于MLP中的隐含层，有 84 84个节点，所以有 84∗（120+1）=10164 84*（120+1）=10164个参数。 F6 F6层采用了正切函数。

输出层
采用了RBF函数，即径向欧式距离函数

LeNet-5网络结构解析相关推荐

YOLO系列 --- YOLOV7算法（四）：YOLO V7算法网络结构解析
YOLO系列 - YOLOV7算法(四):YOLO V7算法网络结构解析今天来讲讲YOLO V7算法网络结构吧~ 在train.py中大概95行的地方开始创建网络,如下图(YOLO V7下载的时间不 ...
yolov4 网络结构解析
YOLO V4 - 网络结构和损失函数解析(超级详细!) - 知乎 (zhihu.com) 1.前言最近用YOLO V4做车辆检测,配合某一目标追踪算法实现车辆追踪+轨迹提取等功能,正好就此结合论文 ...
CNN 常用网络结构解析 1x1 卷积运算示意图
AlexNet 网络结构: VGG : conv3x3.conv5x5.conv7x7.conv9x9和conv11x11,在224x224x3的RGB图上(设置pad=1,stride=4,outp ...
强化学习 ---baselines项目之 Atari游戏的网络结构解析
这个baselines项目设计的比较灵活,结构有点复杂.由于项目庞大,各个函数之间又是相互调用,有时候从一个函数追溯下去,可以追溯6,7层,每个函数的超参数又特别多,很容易把人搞晕. 接下 ...
WiFi 的起源、发展、信道划分及网络结构解析
Wi-Fi 的发源地 Wi-Fi 的发源地是夏威夷,Wi-Fi 是一种无线局域网协议.而对于网络协议中的多址接入协议的历史可以追述到 1971 年的 ALOHAnet,按照 WiKi 的记录,ALOH ...
Alex网络结构解析
该网络之所以上下两层是因为采用了两个GPU进行训练,上下层分别代表两个GPU的训练过程,使用两个GPU同时进行训练可以大大提高训练速度.为了容易理解,下面我们只看其中一层网络. Cov1 输入为224 ...
最新｜全新风格原创YOLOv7、YOLOv5和YOLOX网络结构解析图
PyTorch深度学习（18）网络结构LeNet、AlexNet
CNN(Convolutional Neural Network) 目标分类 Classification 图像属于哪一类目标检索 Retrieval 相同种类归为一类目标检测 Dete ...
cnn stride and padding_经典CNN网络解析
NIN网络-Network In Networkblog.csdn.net 梦里寻梦:(四十二)通俗易懂理解--CNN网络框架演进:LeNet至DenseNetzhuanlan.zhihu.com ...

LeNet-5网络结构解析

LeNet-5网络结构解析相关推荐

最新文章

热门文章